Hängt ganz von der Art der Verwaltung deines Webspaces ab.
Manchmal kann man Subdomains einstellen (Plesk/Confixx,...), dann erstellt die Software automatisch einen Ordner Subdomains, und darin einen, der so heißt wie die Subdomain, und da gehören dann alle Dateien hin.
Bei anderen kann man nur eine Weiterleitung einstellen, also dann muss dein VMS halt in einen Unterordner "vms", und dann wird vms.deinedomain.... dahin umgeleitet.
So oder so sollte das kein größeres Problem darstellen, außer du kannst bei deinem Webspace keine Subdomains anlegen und hast auch kein mod_rewrite aktiviert, dann könnte es schwer werden
Vom VMS Script her spricht nichts dagegen, auch wenn es viele Sponsoren nicht erlauben, dass man Scripte auf Subdomains anmeldet, und auch einige User da wohl "vorsichtiger" sind.
Einzig auf die Session Verwaltung sollte man achten, sprich dass sich da das Shopscript und das VMS nicht überschneiden, was aber eher unwahrscheinlich ist. (Würdest du merken, wenn du dich bspw. im VMS einloggst, und dann im Shop auch als angemeldeter User zählst )