как наладить отношения с ребенком

Я в гражданском браке состою уже 8 лет. От первого брака с ним осталось трое детей. (14, 12, 7 лет) у меня дочь 7 лет. Жена оставила ему детей для облегчения себе жизни и за все время, что мы живем вместе она детям не уделяла никакого внимания ни материального, ни морального. У нас с мужем есть общий ребенок ему 2 года. С первого дня нашей совместной жизни муж к моему ребенку никак не относился, но я и не настаивала она общается со своим отцом, я же с его детьми как могла так и занималась, было всякое. Но с его самым младшим ребенком все время происходили какие то разногласия. Он делает все мне на зло, не слушается постоянно хамит, огрызается и из за этого у нас с мужем все время ссоры. Он считает, что я хочу его выжить их дома. Но с его остальными детьми я нашла общий язык и он видит, что я живу с ним не из-за корысти ради. Я хочу жить со своим мужем и его детьми, но после скандалов он меня выгоняет. Подскажите, как себя вести, что бы всех это устраивало?