Сградата, в която е уреден музеят, е построена през 1906 г. - 1907 г. за първото професионално училище в България, което през този период се нарича Държавна образцова текстилна фабрика „Добри Желязков”. Намира се на знаково за Сливен място – в бившия двор на Държавната сукнена фабрика, построена и ръководена от Добри Желязков. В съседство на музея е разположено единственото запазено до днес внушително здание на фабриката, построено през 1842 г. – 1843 г., днес – недвижимо културно наследство от национално значение.
Сградата на музея е архитектурен паметник на културата.