Si lo que quieres es montarte tu propio servidor de correo lo mas facil es usar alguno de estos programas. Todos ellos funcionan bajo Windows.

Gratuitos:

Mercury Mail Transport System ( del creador de Pegasus Mail)

De pago:

Mdaemon de Alt-n

Kerio