Когда-то в Средние века в скалах Саксонии стоял крепость Нойратен, и Бастай (Bastei) был частью его оборонительных сооружений. В память об этом в парке установлена катапульта, есть некая цистерна — каменная яма, остатки каких-то укреплений и прочее.

Позднее, в 1800-х гг., Бастай стал привлекать туристов, а путь в горы был даже назван Malerweg, что в переводе с немецкого означает «тропа художников». Из наших там побывал, правда, не художник, но все-таки человек искусства — композитор и пианист Александр Скрябин. Он дважды посещал скалы Бастай и даже написал одноименную композицию — видимо, не оставило его равнодушным это место, как и Чайковского в своем время очаровало Лебединое озеро Schwansee неподалеку от Нойшванштайна.