Wohin ist an sich nicht wichtig, wichtig dann nur beim Einbinden der Klasse/des Scriptes den Pfad richtig anzugeben.
Du kannst dir bspw hier: http://www.phpclasses.org/ eine SMTP Mail Klasse holen, da sind dann meist auch Beispiel Dateien dabei.
Es bietet sich natürlich an, diese Klasse dann in der Datei extras.lib.php in der Funktion usermail() einzuklinken, da das VMS an sich nur usermail() nutzt (diverse Addons aber mail(), da müsstest du dass dann evtl ergänzen).