à la base, une galère était un navire qu'il fallait faire avancer à l'aide de rame (comme dans Asterix mdr). Les gens qui ramaient étaient des galériens (terme tombé maintenant dans le language courant péjoratif).
Le sens figuré vient du premier sens. On dit maintenant qu'une galère est une difficultée parce qu'a l'époque eh bah faire avancer un gros navire à l'aide de rames c'etait assez dur