離婚の際に持ち家の頭金を返すべきか?

　どのような財産分与をお考えかによると思います。
　現在の財産から婚姻時の財産を引いた額が財産分与の対象となりますので、通常はイエの価格から頭金を控除した額を分割します。またローンは別途分割します。それ以外に養育費や慰謝料を定めるので、それを含めて落としどころを見つけるという形になります。個々に分けるよりも全体としてどういう解決にするのかを再度ご検討されるべきではないでしょうか。

頭金の負担分の支払い債務と慰謝料支払債務が相殺される可能性はあります

質問文の事情から機械的に考えれば、頭金の負担を求められる可能性はあります。

夫婦で住む家なのだから頭金1000万円も等分負担すべきだったが、実際には夫が婚姻前の貯蓄で全額支払った。あなたは本来負担すべき頭金のうち500万円分の支払いを免れているのだから、離婚時にそれを負担すべきだ、との理屈は十分成り立ちます(持分は3/4であるとしても、実際の費用負担割合が1/2ずつと判断されると仮定して)。

もちろん、質問文の事実のみから機械的に考えれば、ということですから、その他の事情によって結論は良くも悪くも左右され得ます。
とりあえず、調停中のようですので、調停委員の考えを聞いてみるのもよいのではないでしょうか。

なお、不倫の慰謝料は不法行為による債務であり、夫の方から相殺を主張することはできませんが、このケースではあなたに相殺を拒むメリットがないため、頭金の負担分返還を求められたときには、事実上相殺処理をすることになるでしょう。

回答

財産分与は離婚に伴う夫婦財産の清算知う意味合いが強いですが、慰謝料は不法行為的な要素を含みます。財産の価格を2000万円だとすると持ち分に応じて主人500万円、貴殿が1500万円ということになり、貴殿単独名義にすると単純計算では500万円相当分をご主人に支払うということになりますが、必ずしも杓子定規に考えることが出来ない事情があります。財産分与に慰謝料的な要素を含めて慰謝料の額を500万円以上と考えれば、相殺して支払うことはないでしょう。ご主人の立場でいえば、それほど重大な不法行為でないかとか、ローンの返還を一部してたと言えば事情も変わってくるでしょう。いずれにしてもいろいろなケースが考えられるので自分の主張すべきところは
きちんと主張した方がいいです。