菲力普四世國王 16 歲的時候即位，在位 44 年半，是個文化素養極高、多才多藝、資助藝文發展、成立圖書館 ....的國王，他喜歡藝術、文學、音樂、戲劇、天文學等，他在位期間屬於西班牙文化的黃金世紀（Siglo de Oro），藝術家如委拉斯奎茲（Diego Velázquez），祖巴蘭（Francisco de Zurbarán）, Murillo, Maino, 文學家如 Quevedo, Baltasar Gracián, Lope de Vega, Calderón de la Barca, Tirso de Molina ... 都深受菲力普四世的重視與資助，他豐富的藝術收藏後來成為普拉多美術館的重要作品。
但是，這位熱愛藝文的國王就是不愛政治，不喜治國，把國事全權委託給一個「valido 執政寵臣」Conde Duque de Olivares，國王只專注於藝文活動、宴會、狩獵、閱讀 .... 還有追女人！
很少人知道，《侍女圖（Las Meninas）》中的小公主的父親嗜性成癮，他熱愛追求女人，不論是宮女、貴族、妓女、女伶、村女 .... 都是他追求的對象，他甚至還因為聽說 Convento de San Plácido 修道院有個貌美的修女，偷偷進到修道院追修女。事實上，他被公認為西班牙歷史上最風流的國王。
據說，有一次菲力普四世迷上一個年輕寡婦，常去拜訪她，引起法庭官員的注意，認為這位寡婦不守婦道，所以，在附近監視，某一天，那位官員在男賓（國王）拜訪寡婦時敲門抓姦，一進到寡婦家，看到一切平靜，不過，卻看到窗簾後有東西，因此問寡婦，窗簾後面是什麼，寡婦說，是一幅栩栩如生的國王畫像，官員拉開窗簾，看到國王「栩栩如生」地站在那裡，行個宮廷禮，跟寡婦說，我真的從沒看過如此逼真的國王畫像，馬上匆忙離開。
不過，菲力普四世的情人雖然無數，但是，公開的、有名有姓的卻不多，最有名的是當時貌美的名伶 María Inés Calderón（綽號 La Calderona），她也算頗有來頭，是當年名劇作家 Pedro Calderón de la Barca 的養女，後來，她跟國王的其他情婦一樣，被送進修道院，安度一生，最後還當了修道院長。
到現在，歷史學家還是搞不清楚菲力普四世到底有多少個私生子，估計在三、四十幾個之間，應該是私生子最多的西班牙國王啦！
不過，菲力普四世的私生子雖多，而且有些還相當有成就，在教會擔任主教等高職，但是，他只承認一個，就是他跟名伶 María Inés Calderón（綽號 La Calderona）生的兒子 Juan José de Austria，據說，Juan José de Austria 跟國王那些體弱的皇子們比起來，氣宇軒昂、出類拔萃，讓國王非常欣賞，還曾私下考慮過讓他繼承王位，不過，後來因為他是私生子的身份而不敢提出。
菲力普四世雖然風流史一長串，私生子一堆，但是，他的前後兩個婚姻都沒有留給他很多子嗣，據說，菲力普四世患有梅毒，後來又傳染給他的兩個皇后，梅毒的疾病加上近親通婚，所以，他正式的皇子皇女不是早夭，就是體弱多病。
菲力普四世的第一任老婆是法國公主、波旁皇朝的伊莎貝爾（Isabel de Borbón），他們生有八個子女，可是只有兩個沒有夭折，一個是嫁給法國路易十四的 María Teresa，後來成為法國皇后，一個是不幸於 17 歲早逝的繼承人 Baltasar Carlos。菲力普四世在皇后伊莎貝爾（Isabel de Borbón）及兒子（繼承人）Baltasar Carlos 相繼去世後再娶，娶的是他的外甥女（他妹妹的女兒）、奧地利公主 Mariana（事實上，Mariana 是跟王子 Baltasar Carlos 訂婚的，後來她在王子去世後嫁給國王），他們生有五個子女，只有兩個活下來，老大就是委拉斯奎茲筆下的小公主 Margarita Teresa de Austria ，後來嫁給奧地利皇帝，成為奧地利皇后，另一個就是體弱多病的 Carlos，後來在菲力普四世去世之後繼位，成為卡洛斯二世（Carlos II）。
可能是近親通婚的結果，卡洛斯二世（Carlos II）患有不孕症（以現代醫學的眼光來看，應該是克氏症候群），在兩次婚姻中沒有任何子嗣，所以，卡洛斯二世（Carlos II）去世後，引起了全歐洲參戰的《西班牙王位繼承戰爭》。
