Планировалось, что эрцгерцог Фердинанд II женится на французской или португальской принцессе. Но, как это часто случается, все планы порушила любовь: в 1557 году Фердинанд тайно обвенчался со своей возлюбленной Филиппиной Вельзер, дочерью простого купца. В те времена о таких браках можно было договориться в церкви, но в обществе они не одобрялись.

В строжайшем секрете новоиспеченная жена эрцгерцога обосновалась в замке Амбрас. В этом счастливом браке родилось четверо детей, все они были лишены Габсбургами права наследования. Когда их сын Андреас был посвящен в кардиналы, брак Фердинанда и Филиппины был признан легитимным, и им не нужно было больше скрывать свою любовь. Легенды гласят, что Филиппина Вельзер была необыкновенно хороша собой, разбиралась в свойствах лечебных трав и, используя свои познания, часто помогала больным. Ее в равной степени любили как в высшем обществе, так и в народе. Считается, что она внесла свой вклад в австрийскую кухню и даже написала поваренную книгу.

Особой достопримечательностью замка является купальня Филиппины Вельзер. Купание, обставленное для своего времени с невероятной роскошью, было неотъемлемой частью распорядка дня герцогини. Для обогрева бассейна глубиной 1,6 м использовалась не только печь, но и раскаленные камни. Герцогиня испытывала слабость к целебным травам, и требовала добавлять их в воду для лечебного эффекта. Впрочем, помпезная купальня и весь отправляемый там ритуал служили не только для телесных наслаждений.

Купание считалось также и общественным ритуалом: изысканные блюда и напитки подавались прямо в купальни, и гости общались там часами напролет. Здесь же проводились несложные процедуры по уходу за телом. Одним словом, это было настоящее спа эпохи Ренессанса. К тому же, купание в те пуританские времена было приятным поводом бросить взгляд на обнаженное женское тело. Вероятно, жизнь Филиппины Вельзер прервалась именно в ее любимом месте. Ходили слухи, что умерла она не сама. Якобы ее свекровь так и не смогла смириться с тем, что сын взял в жены простую девушку.