I My Shameful originariamente erano un duo, Sami Rautio e Harri Jussila, che nel 2000 sfornarono tre demo suonando tutti gli strumenti ed intercavallando le loro voci, e con l'utilizzo di una drum-machine a sostenere le loro esoteriche creazioni. Dopo questi tre demo, é l'italiana Nocturnal Records ad accorgersi del talento dei Finnici e gli propone un contratto per un album. L'anno successivo esce Of All The Wrong Things, ma il combo é ridotto ad una one-man-band, vista la defezione di Harri.