Как правильно поступать с родственниками мужа?

Здравствуйте! У моего мужа есть брат, который часто к нам приезжает в гости. При этом, первый раз, когда мы еще только начали с мужем жить вместе, брат с семьей приехали (из другого города), даже не предупредив заранее, не спросив, как мы живем, как у нас дела. Было множество конфликтов при их первом приезде. Они считают, что мой муж общается почти всегда с плохими людьми, которые его используют. И я - одна из них. И они приезжали прогнать меня. Теперь они изменили ко мне отношение. Но мне не приятно, когда они приезжают к нам. Я терплю. Конфликты закончились. Но сами они, как люди, мне неприятны, мне неприятно с ними общаться. У меня совсем другой круг общения. Им тоже с нами скучно. Но они приезжают к нам потому что им скучно, хочется куда-то вырваться, сменить обстановку. Муж с детьми редко, но бывает, тоже что к ним заедет. В гостях у них всем хорошо. Скоро я хочу поехать с детьми к своим родителям, муж останется один. И его брат с семьей могут приехать к нам в дом, пожить здесь без меня. А это я терпеть не могу. Мне они неприятны. Я хочу понять, как мне сказать обо всем этом мужу, его брату. Как правильно поступать с родственниками мужа?