SE PREOCUPE COM ISSO!
Querer ser unanimidade é vaidade. Certamente em algum momento da vida haverá pessoas que não irão gostar de você e nem você delas e, "está tudo bem." O que uma pessoa que não gosta de você "não poderia nunca falar" e, isso sim deveria incomodar, é: "Fulano (a) é mal caráter e com ele (a) jamais quero andar!"