Люблю помолчать с людьби, но людям это не нравится. Как избавиться от этого недостатка?

Доброго времени суток!
Мне нравится тишина. Вернее молчание. Несмотря на то, что я очень много говорю, самый лучший разговор для меня - это просто помолчать с кем-то, ощущая, что я не напрягаю человека этим "тараканом" в моей голове. Это просто бесценно для меня. К сожалению, не нахожу таких людей. Когда кто-то из друзей, а чаще всего, когда человек, который мне нравится, появляется рядом со мной - им обязательно хочется поговорить, обменяться какой-то информацией и всё в этом духе... мне же хочется просто молчать. вместе молчать.
Да, моя работа связана с большим количеством людей, информации, внимания... Но я не думаю, что причина в этом, поскольку и раньше замечала за собой такую странность. Людей как-то напрягает и даже раздражает такое поведение, они не говорят, но я это отчетливо чувствую. Они начинают обижаться на то, что я часто молчу, отдаляются, порой даже упрекают в том, что они мне неинтересны. Но это не так, просто мне некомфортно молчать, когда рядом человека это выводит из равновесия. Таким образом моими лучшими "собеседниками" всё чаще и чаще становятся книги и музыка, тихий лес или ручей, потому что их не раздражает то, что я молчу им в ответ.
Как мне избавиться от такой привычки, отталкивающей от меня людей? или не стоит переживать так из-за этого, потому что найдётся человек с такими же ценностями, ведь все люди разные?