Nawet obecnie nie można wskazać dokładnego roku wybudowania Krzywej Wieży ani też przyczyn, z jakich powstała. Spekuluje się, że stanowi pozostałość dawnego zamku lub też nadaje się jej rolę ówczesnej bramy miejskiej. Jeszcze inna hipoteza głosi, że wieża od początku pełniła funkcję dzwonnicy – tak zresztą było w rzeczywistości od XV w. do II Wojny Światowej.
W 1507 r. wieżę połączono z kościołem św. Anny. Pierwotnie do jej wnętrza można było wejść wyłącznie po drabinie lub zewnętrznych schodach. Wieża została połączona z kościołem za pomocą krytego ganku, który usunięto pod koniec XVI w. ze względu na to, że w wyniku przechylenia, konstrukcja wieży uległa pęknięciom, co groziło jej całkowitym zawaleniem. Do dziś nie wiadomo, dlaczego wieża jest pochylona. Uważa się, że powodem mogły być wstrząsy tektoniczne lub rozmoknięcie gruntu.
Z Krzywą Wieżą łączy się także pewna legenda, która tłumaczy jej pochylenie. W 1858 r., po dużym pożarze miasta, wykonano ponoć ekspertyzę, która wskazywała na to, że wieża od samego początku była krzywa, o czym miał świadczyć napis wykonany przez budowniczego, który w języku polskim brzmiał następująco: „Nazywam się Johannes Gleiß, wybudowałem tę wieżę krzywą z pilnością”. Niestety po tym, gdy ogień strawił część konstrukcji, a wieżę należało przebudować, napis uległ zniszczeniu.
Obecnie odchylenie Krzywej Wieży od pionu wynosi 2,14 m. Warto natomiast wspomnieć o tym, że w 1977 r. wynosiło 1,98 m. Po odbudowie, wysokość budowli wynosi 34 m. Dziś ta tajemnicza i niezwykle oryginalna konstrukcja pełni funkcję punktu widokowego.
