Филипп был единственным сыном австрийского эрцгерцога Максимилиана I, будущего императора Священной Римской империи, и Марии Бургундской, наследницы владений Бургундского дома. Своё имя он получил в честь прадеда герцога Филиппа Доброго. В 1482 г. неожиданно скончалась мать Филиппа, и он унаследовал огромное и богатое Бургундское государство, в состав которого входили, помимо собственно герцогства Бургундии, Брабант, Лимбург, Люксембург, Артуа, Франш-Конте, Фландрия, Геннегау, Голландия, Намюр, Гелдерн и ряд других лёнов во Франции и империи. Опекуном при малолетнем герцоге стал его отец Максимилиан Габсбург.

Хотя Максимилиан и принял опеку над Филиппом, в установлении регентства ему было сословиями бургундского государства отказано. В отличие от юного герцога, Максимилиан не пользовался поддержкой значительной части дворянства и городов Нидерландов. Конфликт между Максимилианом и оппозиционными его правлению сословиями осложнялся претензиями французского короля Людовика XI на наследство Марии Бургундской. По договору в Аррасе 1482 г. Франш-Конте и Артуа были уступлены Франции. Это развязало руки Максимилиану для борьбы с фламандскими сословиями, выступления которых уже переросли в открытый мятеж с требованием расширения самоуправления Нидерландов. Главными центрами восставших были города Гент и Брюгге. В последнем на некоторое время оказался в плену мятежников герцог Филипп. Борьба Максимилиана и городов продолжалась без особого успеха с той или иной стороны до 1494 г., когда Максимилиан, ставший в 1493 г. императором Священной Римской империи, официально передал власть над Нидерландами и Бургундией своему сыну Филиппу, который, в свою очередь, пообещал соблюдать права и привилегии сословий и защищать законные интересы фламандских городов. Незадолго до этого, в 1493 г., был заключён Санлисский договор с Францией, по которому Франш-Конте и Артуа возвращались герцогу Филиппу, а французский король получал Пикардию и собственно герцогство Бургундия. Это соглашение урегулировало франко-габсбургский спор о бургундском наследстве и подтвердило переход Нидерландов к Габсбургам.

Единоличное правление Филиппа Красивого в Нидерландах началось в 1494 г. в относительно благоприятной обстановке. Волнения городов прекратились, а власть шестандцатилетнего герцога ограничил совет, в который вошли ведущие бароны бургундского государства. Однако поддержка, оказанная Филиппом Перкину Уорбеку, самозванцу, претендующему на английский престол, серьёзно подорвала англо-бургундские отношения и привела к переносу центра торговли британской шерстью из Антверпена в Кале. В ответ герцог Филипп наложил эмбарго на ввоз шерсти и железа из Англии в свои владения. Конфликт крайне негативно сказался на экономике как Англии, так и Нидерландов, и вызвал новый рост недовольства во фламандских городах, лишившихся сырья для своей ткацкой промышленности. Под давлением фламандцев и своего отца, заинтересованного в английской поддержке против Франции в начавшихся Итальянских войнах, Филипп в 1496 г. пошёл на примирение с Генрихом VII и заключил всеобъемлющее торговое соглашение с Англией, известное под названием Intercursus Magnus. Этот договор оформил долгосрочный англо-бургундский военно-политический союз и установил свободу торговли между двумя странами. Свидетельством установления прочных дружественных отношений между Англией и Бургундией стала личная встреча Филиппа и короля Генриха VII в Кале в 1500 г.

Другим важнейшим событием правления Филиппа в Нидерландах стала его женитьба 20 октября 1496 г. на инфанте Хуане, дочери Изабеллы, королевы Кастилии, и Фердинанда II, короля Арагона. Сестра Филиппа Маргарита в следующем году вышла замуж за наследника Изабеллы и Фердинанда Хуана. Эти браки легли в основу династического союза Испании и дома Габсбургов, направленного против Франции. После смерти Хуана Арагонского в 1497 г., его старшей сестры Изабеллы в 1498 г. и её сына Мигеля в 1500 г., жена Филиппа Красивого стала единственной наследницей престолов Кастилии и Арагона, что создало перспективу создания огромной габсбургской империи, включающей помимо Австрии, Нидерландов и Бургундии, бо?льшую часть Пиренейского полуострова.