Pierwsza wzmianka o Chełmsku Śląskim pochodzi z 1289 r. gdzie jest wymieniana jako miasteczko nadgraniczne.
W wyniku jego przejęcia przez Piastów świdnicko-jaworskich prawdopodobnie około 1275 r. otrzymało ono prawa miejskie. Od początku XIV w. istniał tu zamek książęcy przejęty przez klasztor cystersów z Krzeszowa w 1343 r. Cystersi byli gospodarzami aż do 1810 r. Charakter miasta uległ zmianie wraz z upowszechnieniem się uprawy lnu w XVI w. Ten ważny i znamienny w historii Chełmska okres prosperity został zahamowany przez podbój Śląska przez Prusy w połowie XVIII w. i wytyczenie granicy celnej. Nie bez znaczenia był fakt upowszechnienia tkactwa mechanicznego , które spowodowało utratę wpływów z tradycyjnego tkactwa chałupniczego. W 1793 r. w Chełmsku wybuchł bunt tkaczy jednak wkrótce został zażegnany przez interwencję władz pruskich. Kryzys trwał aż do lat 80. XIX w. kiedy dało się zauważyć przejściowe ożywienie. Przyczyniła się do tego szkoła tkacka oraz linia kolejowa, która przyspieszyła rozwój turystyki.
Regres tkactwa spowodował zubożenie mieszkańców, a II wojna światowa i utrata praw miejskich w 1945 r. przypieczętowały utratę niegdysiejszej świetności.
Obecnie ta malowniczo położona wieś słynie z domów tkaczy zwanych „Dwunastoma Apostołami”, które stanowią interesujący i unikatowy zespół domów drewnianych. Powstały one w 1707 r. na potrzeby tkaczy przybyłych tutaj z Czech. Do naszych czasów przetrwało 11 drewnianych budynków (dwunasty, stojący w pewnej odległości od pozostałych nie zachował się). Zostały wzniesione w konstrukcji zrębowej, parterowe, dwutraktowe, z podcieniem i drewnianym szczytem. We wnętrzu mieściły warsztat, część mieszkalna i magazyn na strychu. Konstrukcja była podyktowana względami użytkowymi. Do produkcji płótna niezbędna jest woda, którą zapewniał strumień na zapleczu; dobrze nasłonecznione zbocza ułatwiające proces suszenia oraz potaż, który można było łatwo pozyskać z okolicznych lasów. Działająca w jednym z domów Izba Tkactwa Stowarzyszenia na Rzecz Rozwoju Chełmska Śląskiego „Tkacze Śląscy” prezentuje zabytkowe narzędzia takie jak kołowrotki, krosna i inne urządzenia wykorzystywane w tkactwie.