Czartoryscy nie tylko przebudowali (w części postawili od nowa) rezydencję, ale przede wszystkim przekształcili wielki otaczający ją park. 40-hektarowy park ciągnący się wzdłuż łachy Wiślanej, pierwotnie założony jako park regularny, następnie odnowiony w stylu francuskim, ostatecznie urządzony został na polecenie księżnej Izabeli w stylu angielskim. Księżna poświęciła mu wiele uwagi i pieniędzy, sprowadzała spoza Polski egzotyczne rośliny, zatrudniała ogrodników, a głównym twórcą parku był ogrodnik angielki James Savage. Park jaki wtedy stworzono był wyjątkowy i stał się atrakcją na skalę europejską. Na jego terenie rozrzucone są budynki -"kopie", dość swobodnie naśladujące oryginały znanych budowli, głównie z Europy Zachodniej.
Na południowy wschód od pałacu stoją dwa budynki. Na stromej skarpie wiślanej zbudowano w latach 1798-1801 budynek w kształcie rotundy. To Świątynia Sybilli, naśladująca Świątynię Westy z willi Hadriana w Tivoli. Była siedzibą muzeum założonego przez Izabelę Czartoryską, która gromadziła tu zabytki ze wspaniałej przeszłości Polski (np. szablę Stefana Batorego). Nieco odsunięty od skraju skarpy stoi Dom Gotycki (zbudowany w stylu angielskim, akurat nie kopiujący żadnego konkretnego budynku), był on drugim budynkiem rozrastającego się muzeum, przeznaczonym na zbiory sztuki światowej (np. „Damę z gronostajem” Leonarda da Vinci). Głowna część zbiorów wywieziona została z Puław przed upadkiem powstania listopadowego i trafiła do Paryża, a następnie do powstałego w Krakowie w 1876 roku Muzeum Czartoryskich. Natomiast w obu tych budynkach dziś mieści się muzeum regionalne PTTK.
Niedaleko tych budowli, ale już po drugiej stronie ulicy Głębokiej, stoi Domek Grecki. To dawna oranżeria pałacowa, dziś mieści się w nim biblioteka miejska. Między Domem Gotyckim a Domkiem Greckim znajduje się Brama Rzymska (w formie antycznej ruiny, z celowymi ubytkami w murach).
Na południowo-wschodnim skraju parku mieści się Pałac Marynki - klasycystyczna budowla wzniesiona przed 1794 rokiem dla najstarszej z córek Czartoryskich - Marii Wirtemberskiej.
Po drugiej, północno-zachodniej stronie pałacu, stoi klasycystyczny Domek Aleksandryjski (inaczej Domek Żółty), w którym podobno nocował car Aleksander II, a obok niego, ale już poniżej skarpy, Altana Chińska - wzorowana na chińskiej pagodzie, niegdyś herbaciarnia. Obie części parku, górną i dolną, łączą malownicze schody - angielskie i tarasowe. W samej skarpie wykute zostały w wapieniu groty (w których "mieszkał" specjalnie zatrudniony przez księżną Izabelę "pustelnik".
W początku XIX wieku Piotr Aigner wzniósł największą (po pałacu) budowlę: wzorowaną na rzymskim Panteonie kaplicę pałacową. Dziś jest to kościół parafialny pod wezwaniem Wniebowzięcia Najświętszej Marii Panny. Budynek w kształcie rotundy zbudowany został na północno-zachodnim skraju parku, tuż przy skarpie wiślanej, dziś z jednej strony frontem zwrócony do ulicy Piłsudskiego, prowadzącej do "starego" mostu na Wiśle. Od ulicy prowadzą do świątyni imponujące schody, co nadaje budynkowi jeszcze więcej majestatu. Niestety kościół jest dziś odgrodzony zabudowaniami wzniesionymi w tym rejonie.