Crowley en Yorkston zijn gefascineerd door Daniel Johnston, z'n muziek en z'n persoonlijkheid. Al sinds 2006, toen beiden een bijdrage leverden aan een concert in het Londense Barbican theater ter ere van een film over Johnston, lopen de Ier Crowley en de Schot Yorkston met het idee rond om een Daniel Johnston album te maken. Alles viel op z'n plaats, inclusief rommeligheid, charme, toeval en creativiteit. Acht songs die ze als cd-r weggaven aan vrienden en in een oplage van 99 exemplaren verkochten bij een show. Dat was het wat betreft 'My Yoke Is Heavy', ware het niet dat Chemikal Underground het album toch een keer echt uit wilde brengen, weliswaar gelimiteerd en in een hoesje dat er als een promo uitziet.