Siempre se ha dicho que la persona que no te mira a los ojos cuando hablas con ella es porque algo esconde, así que yo en tu lugar no me sentiría tan incomodo por que fijes la mirada hacia la mirada de la persona con la que hablas, porque ello demuestra que eres sincero, transparente y confiado.

También puede ser, que lo hagas por seguridad, probablemente cuando hablas con otra persona, necesitas tener la seguridad de que te sigue en la conversación, de que está cómodo, de que le interesa lo que le dices... probablemente seas una persona muy observadora y ello te lleva a fijar más la mirada en ciertos momentos !!!

Yo no le daría más importancia de la que tiene, pero si realmente te preocupa y prefieres quedarte tranquilo, siempre puedes acudir a algun profesional ;-)

Un saludo !!!