Phantom'un hikayesi 1952'de David S. Lewis'in McDonnell Douglas (MDD)'ın şef dizayn müdürü olarak atanması ile başlar. Kurduğu ekip ile Amerika Deniz Kuvvetleri'nin istediği yeni uçak modeli için çalışmaya başlarlar. Uçak supersonic saldırı avcı uçağı olacaktır. MDD mevcut F3H Demon modelinden yola çıkarak “Super Demon” projesine başlar. Rakipleri Grumman XF9F-9 ve Vought XF8U-1 Cruseider istenen supersonic avcı uçağı özelliklerini karşılıyordu. Bunun üzerine 1954’te daha gelişmiş YAH-1 projesine başlarlar. Planlanan dizayn kriterleri; Tek koltuklu, her hava şartında görev yapabilecek bir av/bombardıman uçağını tanımlıyordu. Proje bu isterler için başlatıldı ama 29 Mayıs 1955’te Donanma tarafından firmaya yeni isterler iletildi. Her şey bir anda değişmişti. Artık Donanma iki koltuklu filonun savunması için 300 mil mesafede 2 saat CAP (Combat Air Patrol) yapabilecek, düşman uçaklarını tespit edip onları ateş altına alabilecek bir uçak istiyordu.

YAH-1 projesi elden geçirilip ikinci mürettebat eklenip gövde içindeki top iptal edilmiş ve dört adet yarı-aktif güdümlü füzeyi gövde altında taşıyacak hale getirilir. Motor olarak MDD'nin F-101 Voodoo uçağında olduğu gibi General Elektric J79 seçilir. Voodoo'da olduğu gibi iki motorda gövdenin alt tarafına konularak yakıt kapasitesinin arttırılması amaçlanmıştır. Yapılan bu değişikler ile ilk XF4H-1 prototipi ortaya çıkar. Donanma 25 Temmuz 1955’te iki adet XF4H-1 test uçağı ve beş adet YF4H-1 seri üretim öncesi uçak sipariş eder. İlk test uçağı 27 Mayıs 1958'de test pilotu Robert C. Little kontrolünde ilk uçuşunu yapar. Uçağın ismi olarak MDD'nin ürettiği ilk jet uçağı FH-1 Phantom'u onurlandırmak için 3 Temmuz 1959'da fabrikanın kuruluşunun 20’nci yılı etkinliklerinde resmi olarak Phantom II ismi verilir. F4H-1 Amerikan Donanması'nda hizmete girer. Amerikan Hava Kuvvetleri'nin de yeni bir uçağa ihtiyacı vardır. Savunma Bakanı Robert McNamara ordunun tüm havacılık kollarında (Hava, Deniz ve Deniz Piyade) aynı uçağın kullanılmasını istemektedir. Donanma önleme görevleri için Phantom'u isterken, Hava Kuvvetleri av/bombardıman görevi için istemektedir. Donanma için üretilen Phantom Hava Kuvvetleri'nin Convair F-106'sından daha başarılı bulunur ve Hava Kuvvetleri tarafından da seçilir. Başta F-110A (sonradan F-4C) olarak adlandırılır. F4H ismi de F-4'e dönüşür. F-4A (sonradan F-4B) Donanma için F-4C Hava Kuvvetleri için üretilmeye başlanır. F-4C 27 Mayıs 1963’te Mach 2 hızını geçerek ilk uçuşunu yapar.