できます。

不倫行為は、相手の奥さんに対する不法行為となりますが、この不法行為は、法律上、相手男性との「共同不法行為」とされています。
質問者が、１人で相手男性の奥さんに慰謝料を支払った場合、もう１人の共同不法行為者である相手男性に対し、支払った金額の半額を請求できます。これを求償請求といいます。

求償請求は、共同不法行為者間の寄与割合により、求償できる割合が変わる可能性もありますが、不倫の場合は、相手男性にも少なくとも半分の責任があると考えられますので、基本的には損害額の半額の求償請求が可能です。
したがって、本質問の場合、相手男性には１００万円のうちの半額に相当する５０万円を支払うよう請求できます。

簡単にいうと、本来、相手男性と２人で５０万円ずつ奥さんに賠償する責任があるところ（共同不法行為）、１人が全額を立て替えて賠償したので、立て替えた５０万円分を相手男性に返してもらうことができる、という理解です。