Comment le dire à mon collègue??

Voilà j'ai besoin de vos conseils. Je me suis fourée dans une histoire pas possible... voilà, depuis 3 mois je suis solo avec ma fille. J'ai repris un job y a pas longtemps et un de mes collègues avait des vues sur moi. Enfin, je pensais qu'il me trouvait juste jolie et point barre. Et pis un samedi après le job, on a bu une bière ensemble et là je dois dire qu'il m'a un peu prise au dépourvue. Il a commencé à me draguer, à me faire comprendre que je lui plaisais. Comme une conne, je me sentie embarrassée, je me suis dis "zut, c'est un collègue, si je le repousse, ca va peut-être dégénérer et merci l'ambiance après...". Et pis embêtée, j'ai joué son jeu, j'ai fais celle qui était intéressée. Il m'a enmenée chez lui ensuite et voilà...pas besoin de vous faire un dessin...lol
Bref, je me suis dis "bon si ca se trouve, je suis seule, lui aussi, et pourquoi pas passer un agréable moment." Seulement ca s'est pas du tout passé comme je l'aurai pensé. Il ne m'attirait vraiment pas. De mon côté, c'était vraiment nul. Bon ca fait du bien là ou ca passe comme on dit mais voilà vraiment ca s'arrêtait là. Et pis y a pas longtemps il m'a a nouveau proposé de retourner chez lui quand j'avais pas la petite. Mais j'en ai vraiment aucune envie!Si j'y allais et que je couchais avec lui, ce ne serait même par envie et franchement ce genre de chose ne doit pas être une obligation pour faire plaisir ou quoi que ce soit, ca doit vraiment être une envie et réciproque. J'ai essayé en allant plus loin avec lui en pensant que peut-être je changerais d'avis mais non...je n'ai pas d'attirance sexuelle pour lui! alors que faire, eh bien il n'y a rien à faire! Juste mettre un terme à tout ca! Mais ma question est comment????
Je vais pas lui balancer un truc du genre "désolée mais je ne suis pas attirée par toi ou genre tu n'es pas mon genre d'homme. Il le prendrait trop mal! Moije pensais lui dire qu'en tant que collègues, ca me génaît un peu et que je préférai qu'on en reste là. qu'en pensez-vous?
Je sais j'aurai du y réfléchir avant. J'aurai du mettre des distances dès le départ mais maintenant que cest fait, c'est fait. a moi de me démerder. Si vous avez des conseils, suis preneuse.
Merci