Il server di gestione è il componente centrale del VMS. Memorizza la configurazione del sistema di sorveglianza in un database SQL Server, su SQL Server sul computer del server di gestione stesso o su SQL Server separato sulla rete. Gestisce anche l'autenticazione utente, le autorizzazioni utente, il sistema di regole e altro ancora.

Per migliorare le prestazioni del sistema, è possibile eseguire diversi server di gestione come Milestone Federated Architecture™. Il server di gestione viene eseguito come servizio ed è in genere installato su un server dedicato.

Gli utenti si collegano al server di gestione per l'autenticazione iniziale, quindi in modo trasparente ai server di registrazione per l'accesso alle registrazioni video, ecc.