Gli Small Arms Dealer nascono a Long Island, New York, nella primavera del 2004 ed annoverano fra le proprie fila musicisti tutt’altro che inesperti, con alle spalle un passato negli On The Might Of Princes, Contra ed Explosivo, gruppi molto apprezzati all’interno del vastissimo underground Punk Rock americano. Nell’agosto dello stesso anno viene pubblicato un demo, intitolato The Hot Knives, che permette al gruppo statunitense di firmare per la Deep Elm Records.