Pirminis Aizputės pilies centras buvo Livonijos ordino pilis, tačiau XVIII a. viduryje įsikūrė naujasis Pilsmuižos centras dabartinės Skolos gatvės teritorijoje. Naujosios Pilsmuižos ponų namas statytas XVIII-XIX a. ir čia atsikėlė pilies savininko šeima, senojoje pilyje apgyvendinusi dvaro tarnus. Šiuo metu pastate veikia muziejus, audimo studija, kūrybos centras, vyninė. Muziejuje yra nuolatinės ekspozicijos, kurios leidžia susipažinti su Aizputės miesto ir jo apylinkių istorija. Senoviniame skliautuotame Pilsmuižos rūsyje „Aizputės“ vyninė suteikia galimybę visiems norintiems sužinoti daugiau apie vyndarystę, taip pat paragauti Aizputės vyninėje gaminamo vyno.