Formé en 2003 autour du tourmenté
Pete Doherty, le groupe est également constitué de
Patrick Walden à la guitare,
Adam Ficek à la batterie et
Drew McConnell à la basse. A cette époque, Pete, connu pour ses nombreuses frasqueset problèmes de drogue, est écarté du groupe
The Libertines qu’il a pourtant lancé avec
Carl Barât. Il décide donc de monter une nouvelle formation, avec laquelle il sort un premier album en novembre 2005,
Down In Albion. Cet opus a été produit par
Mick Jones, ancien membre des
Clash. En 2006, paraît le disque
The Blinding EP, suivi d’un opus en octobre 2007 baptisé
Shotter’s Nation, dont est extrait
Delivery.