Jego alejkami przechadzali
się Wielopolscy, Komorowscy czy Habsburgowie. Jak pisze Andrzej Komoniecki w "Dziejopisie Żywieckim, Park w Żywcu założony był "włoską modą". Wyraźnie składał się z dwóch zespołów, jeden złożony z kwater i drugi z regularnie posadzonym drzewostanem. Przez pierwszy zespół przebiega kanał, który powstał w drugiej połowie XVIII wieku, z tego też okresu pochodzi altana zbudowana w formie Domku Chińskiego, z uwidocznionym ponad dachem herbem Wielopolskich - Starykoń. Domek jest pozostałością dawnej architektury ogrodowej, murowany na rzucie ośmioboku i dwukondygnacyjny.
Na przełomie XIX i XX wieku park o układzie geometrycznym został przekomponowany w duchu angielskich założen krajobrazowych, wtedy to wspomniany Domek Chiński znalazł się na wyspie. W latach 1930 - 1936 wprowadzono nowe elementy dekoracyjne, które projektowała AngielkaBrenda Colvin. Na osi głównej Pałacu powstała polana widokowa, założono okrągły basen z fontanną, pergole oraz półkoliste rozarium. Drewniane mostki nad kanałami zastąpiono kamiennymi, a na dziedzińcu zewnętrznym między Pałacem Habsburgów, a Starym Zamkiem wybudowano ozdobną, kutą z żelaza studnię, którą wykonał rzemieślnik żywiecki Julian Rybarski.
W 2009 roku zarówno park jak i Pałac Habsburgów przeszły gruntowną rewitalizację.
W 2012 roku na terenie parku otwarto Park Miniatur.