Serwer zarządzający jest centralnym komponentem systemu VMS. Przechowuje on dane konfiguracyjne systemu nadzoru w bazie danych firmy SQL Server, na serwerze SQL Server lub na oddzielnym serwerze SQL Server w sieci. Obsługuje również uwierzytelnianie użytkowników, uprawnienia użytkowników, system reguł i inne.

Aby poprawić wydajność systemu, można Milestone Federated Architecture™uruchomić kilka serwerów zarządzania. Serwer zarządzający działa jako usługa i zazwyczaj jest zainstalowany na dedykowanym serwerze.

Użytkownicy łączą się z serwerem zarządzającym w celu wstępnego uwierzytelnienia, a następnie w sposób niewidoczny łączą się z serwerami rejestrującymi w celu uzyskania dostępu do nagrań wideo itp.