C'est lors d'un pique-nique au pied d'une statue de Staline au Memento Park de Budapest -une sorte de cimetière des statues oubliées de l'ère soviétique- que Matt Maust a trouvé le nom du groupe qu'il formera en 2004 dans la banlieue de Los Angeles avec Nathan Willett, Matt Aveiro et Jonnie Russell. Les jeunes gens se lancent dans l'indie-rock bluesy, avec riffs stoniens et son garage, et rendent hommage dans leurs chansons aux moins-que-rien et aux porte-flingues qui veulent raccrocher.