Na początku XIII wieku pan Śląska, książę Henryk I Brodaty w górnym biegu Zadrny, zbudował zamek, który miał chronić jego posiadłości przed zbójeckimi napadami organizowanymi przez południowych sąsiadów – Czechów. Opiekę nad zamkiem i okolicą powierzył rycerzowi zwanemu Schönberg, który przybył do jego państwa z Niemiec z dworem książęcej małżonki (późniejszej świętej) księżnej Jadwigi. Nie ma pewności, czy z inicjatywy księcia, czy też rycerza zarządzającego nowym zamkiem w sąsiedztwie fortyfikacji powstała osada, która otrzymała nazwę od nazwiska rządcy zamku – Schönberg. Pierwsze budynki obecnego Chełmska Śląskiego istniały już na początku XIII stulecia, co znajduje potwierdzenie w dokumentach sądowych z lat 1206-1214, gdzie wymieniana jest także Wójtowa (niem. Voigtsdorf) – dawniej niezależna osada znajdująca się w górnej części dzisiejszej ul. Sądeckiej.

Wracając do zamku w Chełmsku, trzeba stwierdzić, iż jego lokalizacja jest łatwa do ustalenia. Dobrze zachowało się otoczenie świadczące o obronnej funkcji średniowiecznej budowli. Przy ul. Pocztowej znajduje się okazały budynek wzniesiony na wysokim wale ziemnym. Dookoła widoczne są ślady fosy, do budynku dostać się można po kamiennym moście. Jeszcze w końcu XIX wieku grodzisko nazywane było zamkiem. Uważano też, że w przeszłości przez pewien czas mieszkali tam zbójcy, którzy zbudowali podziemne korytarze, jeden prowadzący do Žacleřa, drugi – aż do Trutnova.

Pewne jest, że Chełmsko Śląskie (niem. Schönberg, później – Schömberg) od jesieni 1343 roku stało się własnością opactwa cystersów w Krzeszowie, a od roku 1580 – jak wynika z dokumentu cesarza Austrii, Rudolfa II – jako miasto ma prawo do swojego herbu.