Em 1984, após voltar da turnê que se viraria o disco Real Live, Bob Dylan resolveu fazer um novo álbum de estúdio (Empire Burlesque), mas dessa vez de um jeito diferente. Depois de divergências com Mark Knopfler durante as gravações de Infidels, Bob decidiu assinar a produção e a testar diversas bandas em várias sessões de gravações em estúdios diferentes. Ron Wood participou de algumas sessões e testemunhou um Dylan menos assertivo e confiante no resultado.
Paralelo a tudo isso, Carole Childs – uma das namoradas de Dylan na época e que trabalhava como A&R (artista e repertório) da gravadora Geffen – sugeriu que Bob desse uma canção ao grupo que ela acabara de assinar e que gravavam seu disco de estreia.
O Lone Justice era tido como os queridinhos do momento, com a bela cantora Maria McKee à frente e um estilo nomeado como “cowpunk”. Ainda assim, Maria e cia. ficaram surpresos ao ter como visita Bob Dylan, acompanhado por Ron Wood, para entregar-lhes pessoalmente a demo da música “Go ‘Way Little Boy”.
Ouça a demo feita por Dylan:
Bob resolveu acompanhar as gravações – talvez como um estágio para entender melhor a função de produtor que ele assumiu em seu próprio projeto. Anos depois Maria relembrou o momento e a orientação dylanesca:
“Ele veio até o estúdio quando estávamos gravando nosso primeiro álbum e nos ensinou a música. E ele ficou por aí. Ele trouxe Ron Wood com ele e eles tocaram na música… Nós acabamos trabalhando durante bastante tempo porque ele não gostava do jeito que eu estava cantando… até que eu cantei como se fosse ele! Chegou ao ponto que eu apenas fiz minha melhor imitação de Bob Dylan – e ele disse, ‘Ah, agora você está cantando de verdade!’”
Circularam duas versões da música. Uma possui um solo de órgão no começo enquanto a outra (abaixo) possui um solo de gaita que alguns dizem ser do próprio Dylan – e outros de Maria.
Ouça a versão com a gaita no início:
[youtube=https://www.youtube.com/watch?v=KB5ahWU09i8]
O grupo lançou apenas mais dois discos – sendo mais um de estúdio e outro ao vivo.
Em 
