Ваш муж не знает, что есть другие способы решения проблем. Он, видимо, знает один способ- уйти от проблемы, возможно, убежать в другие отношения. А это всё тупики. От себя не убежишь.
вы правильно писали, что "как я могу считать одна будет ли он счастливым?Ведь это зависит не только от меня одной!"
Раз он готов к разговору с вами( а вы правильно делаете, что не принимаете его просто, не поговорив прежде), то донесите ему эту мысль: семья-это он и она.
"Все это время он ничего не делал для нас с дочей(дочь от предыдущего брака)но при этом принимал все"
Что он должен был делать для вас? Вы обсуждали, кто, что должен делать в семье? Он работает? Почему вы всё делали для него? Боялись его потерять, считали, что мужчине надо создавать особые условия, из-за любви к нему, так делали в прежнем браке?
Если вы всё делали сами и для дочи и для себя, и для него, то ему что делать в семье? Сам он, наверное, не знает. Посуду мыть, пылесосить, закупаться, унитаз мыть, обед иногда готовить, в ресоран или в кино вас водить? Говорить-говорить надо друг с другом.