Královský hrad Červený Kameň byl založen před r. 1240. Roku 1296 koupil hrad Matúš Čák Trenčianský. Roku 1523 získávají hrad Alexius a Ján Thurzo. Roku 1494 založily rodiny Fuggerů a Thurzů společný podnik zaměřený na těžbu mědi ve Slovenském rudohohorí, který neměl v tehdejší Evropě obdoby. Roku 1535 koupila panství rodina Fuggerů. Za účelem skladování mědi přestavěli Fuggeři hrad Červený Kameň na moderní pevnost.
Během první výstavby pevnosti 1535-1544 byly postaveny všechny části pevnosti nezbytné pro obranu. Roku 1548 začala druhá etapa, během které byly vystavěno obytné a administrativní křídlo. Ovšem již r. 1546 rodina Fuggerů vystupuje ze společného podniku. Roku 1560 umírá Anton Fugger – stavitel pevnosti. Roku 1581 získává Červený Kameň Mikuláš Pálffy. Od této doby začínají postupné přestavby, které mají za úkol přeměnit pevnost na pohodlný reprezentační zámek. Naštěstí zůstávají unikátní fortifikační prvky zachovány až do současnosti.
Během první výstavby pevnosti 1535-1544 byly postaveny všechny části pevnosti nezbytné pro obranu. Roku 1548 začala druhá etapa, během které byly vystavěno obytné a administrativní křídlo. Ovšem již r. 1546 rodina Fuggerů vystupuje ze společného podniku. Roku 1560 umírá Anton Fugger – stavitel pevnosti. Roku 1581 získává Červený Kameň Mikuláš Pálffy. Od této doby začínají postupné přestavby, které mají za úkol přeměnit pevnost na pohodlný reprezentační zámek. Naštěstí zůstávají unikátní fortifikační prvky zachovány až do současnosti.