Ребенку нужен не отец, а хотя бы один родитель, который его любит и заботится о нем. У вашей дочери это есть. Поэтому не надо придумывать сомнительные причины для возврата этого человека в вашу жизнь. А ваша дочь, ко всему прочему, живущего второго родителя не видела никогда. Скорее всего мужа хотите вернуть в семью именно вы и именно для себя. Но муж, как вдруг оказалось, заглядывался на квартиру, а не на совместную жизнь с вами. Полагаю, что вы увидели в полном объеме истинное отношения этого человека к вам. Почему-то подумалось, что, возможно, он надоел сестре, поэтому "решил вернуться домой", возможно даже, что для подготовки к жизни с новой большой любовью, так сказать, пожить немного, а потом на вольные хлеба. А тут сюрприз. Вы все сделали правильно, когда исключили его из квартиры.
Сейчас вам ничего делать не надо. У вас есть квартира, ваша квартира, и есть человек, который с чего-то вдруг решил, что все будет так, как он хочет: хочет - ушел к любовнице, захотел - не участвовал в росте младенца, захотел - вернулся домой. А тут не вышло. Отсюда и обида, и угроза разводом. Да пусть разводится
))) Вы и так уже два года в разводе без штампа.