Ürgorgude teke on seotud Maa ajaloos olnud pikkade jääaja perioodidega, mil kliima oli nii külm, et liustikud laskusid mägedest alla ja katsid suure osa maismaast. Viimane jääaeg lõppes alles 10 000 aasta eest. Selle jääaja alguses tõi liustikujää Eestisse suurel hulgal kivirahne ja kivimipuru. Kui liustik lõpuks sulama hakkas, jäid temast maha rändrahnud ja moreensetted, mis katavad suure osa Eestimaast ning millest on moodustunud paljud meie künkad. Ürgorud on viimasel jääajal tekkinud laiad sügavad orud, mille uuristas jääsulamisvesi liustiku serva lähedal. Nüüd voolavad ürgorgude põhjas jõed, järgides oma teekonnal ette tulevaid orulookeid.

Ahja jõgi on Emajõe suurim parempoolne lisajõgi, mille pikkus on 102 km. See on Eesti üks kalarohkemaid ja liigirikkamaid jõgesid. Ahja jõgi on ka Eesti üks maalilisemaid jõgesid. Taevaskoja piirkonnas saavutab Ahja jõe ürgorg oma suurima sügavuse – 32 meetrit, oru laius ulatub kuni 200 meetrini. Kaitseala piires on palju erineva kõrgusega paljandeid, kuid kõige suurem ja kõrgem on Suur Taevaskoda.

Taevaskoda ehk pae on jõeoru nõlvas paikneva liivakivipaljandi ja koobastiku rahvakeelne nimetus Põlvamaal.

Suure Taevaskoja paljand tõuseb jõepinnalt 20 meetrini. Legendid pajatavad Suure Taevaskoja kaljus asunud koobastest ja salakäikudest, kuraditest, hirmsast maost ja ennast kuldkammiga sugevast näkineiust. Väikese Taevaskoja paljandi kõrgus ulatub 10 meetrini.

Kuidas Taevaskoda endale nime sai?
Taevaskoda on koda, mille põrandaks on jalge all olev murukamar, seinteks ühel pool liivakivijärsak ja teisel pool tihe metsamüür ning katuseks pea kohal lapike sinitaevast. Taevaskoda on nagu looduse enese poolt valmistatud eriline koda, mida paljud suisa looduse pühakojaks peavad.

Taevaskoja nimetus võib tuleneda ka sellest, et vanasti toodi siia jõevaimudele ohvreid ning paluti head vilja- ja karjaõnne. Vanarahvas arvas, et Suur Taevaskoda on turvaline elupaik jumalatele ehk taevastele jõududele. Ammustel aegadel nimetasid eestlased oma maju ju kodadeks. Seega ongi Taevaskoda taevaste jõudude ehk jumalate kodu.

Kaljuseinu ei tohi lõhkuda ega neisse nimesid kraapida – see vihastab jõevaime ja toob õnnetust.

Taevaskoja kohta on mitmeid legende ja muistendeid. Ühe legendi järgi olevat Vanapagan jõudnud kord Ahja jõe äärde, mille kõrged kaldad meeldinud talle nii väga, et ta otsustanud siia elama asuda. Kaevanud siis kaljukalda sügavusse endale hulga ilusaid tube, kus tal olnud mõnus puhata, olles varjul inimeste pilkude eest. Uus kodu meeldinud Vanapaganale nii väga, et ta selle Taevaskojaks nimetas. Jõe kaldale pannud ta kasvama vilja ning kavatsenud Ahja jõe kaldale veski ehitada. Selleks kandnud ta kokku hulga ehitusmaterjali, kuid poolelioleva ehitise lõhkunud kiuslik Tuulispask. Jõkke jäänud ainult suur nurgakivi, mida rahvas Tondikiviks kutsub. Vanapagan aga vihastanud nii, et veski ehitamise pooleli jätnud ja ka Taevaskojast ära kolinud.