Днешната сграда е построена на терен, на който се издигала турска кавалерийска казарма.

При нейното разрушаване са открити крепостна стена, глинени тръби, надписи с тракийски имена. Без те да бъдат проучени, мястото е изравнено и върху него се построява здрава каменна сграда във възрожденски стил.

Строежът на клуба е започнал през 1895 г. по проект на архитект А. Колар в стил неоренесанс, сградата е завършена цялостно от Никола Лазаров и Фридрих Грюнангер през 1903 година.
Във Военния клуб се е положило началото на българския театър и на оперно дело, говори се, че самият княз Александър I Батенберг често посещавал културните прояви.