Yemen'e İslâm, Resulullah (a.s.)'ın sağlığında girmiştir. Resulullah (a.s.) Medine'de İslâm devletini kurduğunda Yemen İran nüfuzu altındaydı ve İranlılar o dönemlerde Bâzân adlı bir kişiyi Yemen valisi olarak tayin etmişlerdi. Aslen İranlı olan bu kişi Resulullah (a.s.)'ın davetiyle Müslüman olmuş ve İslâm devleti onu Yemen valiliğinde tutmuştur. H. 9 (M. 631) yılında Bâzân'ın vefat etmesi üzerine Resulullah (a.s.) onun yönetimi altındaki bölgeleri Bâzân'ın oğlu Şehr, Ebu Musa el-Eş'ari (r.a.), Yâli ibnu Umeyye ve Muaz ibnu Cebel (r.a.) arasında paylaştırdı. Resulullah (a.s.), h. 9 yılında da Hz. Ali (r.a.)'yi halkını İslâm'a davet etmesi için Yemen'e gönderdi. Hz. Ali (r.a.)'nin daveti etkili oldu ve Yemen halkı kitleler halinde İslâm'a girdi. Resulullah (a.s.)'ın sağlığında Yemen'de Abhele el-Esved el-Ansi adlı bir kişi peygamberlik iddiasında bulundu ve kendi kabilesini etrafına toplamayı başardı. Etrafına topladığı insanlarla Yemen'in önemli bir kısmını işgal etti. Yukarıda sözü edilen eski Yemen valisi Bâzân'ın oğlu ve Resulullah (a.s.) tarafından Yemen'in bir bölümünün idaresi kendisine verilmiş olan Şehr'i öldürdü. Bu kişi daha sonra zorla kendine eş yaptığı Merzebâne adlı kadının bazı yakınlarıyla birlikte düzenlediği bir komplo sonucu öldürüldü ve etrafına topladığı kişiler de dağıldı. Yemen 820'ye kadar halife tarafından gönderilen valilerce yönetildi. 820'den sonraki Yemen tarihi biraz karışıktır. Bu tarihten sonra ülkenin değişik bölgelerinde değişik yönetimler kurulmuştur. Bunlardan kısaca söz edelim: 820'de Yemen'in bir bölümünde Şiiliğin bir kolu olan Zeydiyye mezhebini benimsemiş Ziyadiler yönetimi kuruldu. Ziyadiler, Abbasilere tabi özerk bir devlet kurmuş ve 1022 yılına kadar iktidarlarını sürdürmüşlerdir. Ancak Ziyadiler Yemen'in tamamına hükmedemediler. San'a çevresine 861 - 997 yılları arasında Ya'furiler hükmettiler. Yafuriler sünniydiler ve onlar da Abbasiler'e tabiydiler. Yafurilerin bölgeleri kısa bir süre Karmatilerin eline geçti. 997'de Ressiiler Yafuri devletini ortadan kaldırdılar. Ressiler Yemen'in Sa'de çevresinde yönetim kurmuşlardı. Zeydiyye mezhebinden olan Ressiilerin saltanatı 1300 yılına kadar sürdü. Yukarıda zikredilen Ziyadiler yönetiminin 1022'de yıkılmasından sonra onların bölgelerinde Neccahiler yönetimi kuruldu. Neccahiler sırasıyla Abbasiler, Selçuklular ve Fatımiler'e tabi olarak Yemen'in bazı bölgelerinde 1159'a kadar hüküm sürdüler. 1038'de San'a'nın batısındaki Mesar şehrini başkent edinen Sulayhiler yönetimi kuruldu. Fatımiler'e tabi olan ve Şiiliği benimseyen Sulayhilerin saltanatı 1099'a kadar sürdü. 1099'da San'a ve çevresinde Hemdaniler yönetimi kuruldu. Sırasıyla Fatımiler'e, Selçuklular'a ve Eyyubiler'e tabi olan Hemdaniler yönetimi 1174'e kadar ayakta kaldı. Hemdanilerin çoğunluğu Zeydi, bazıları da İsmailiyye şiasındandı. 1159'da Zebid ve çevresinde Mehdiler yönetimi kuruldu. Harici olan Mehdilerin saltanatı 1174'e kadar sürdü. Mehdiler önce Fatımiler'e sonra Eyyubiler'e tabi oldular. Zebid ve çevresinde 1229 - 1454 yılları arasında sünni olan Resuliler hüküm sürdüler. Resuliler de önce Eyyubiler'e sonra Memlükler'e tabi oldular. 1446 - 1538 tarihleri arasında Yemen'in büyük bir kısmı üzerinde Tahiriler hüküm sürdüler. 1517'den sonra Yemen'e Osmanlılar girdiler. Osmanlılar Yemen şehirlerini tek tek ele geçirerek 1538'de de Tahiriler yönetimine son verdiler. Yemen'in Osmanlıların eline geçmesinden sonra buradaki Zeydi imamların dini otoriteleri devam etmiştir. Bununla birlikte Zeydiler zaman zaman Osmanlı yönetimine karşı ayaklanmalar düzenlediler. 18. yüzyılın sonlarına doğru Portekizli, Fransız ve İngiliz sömürgeciler Yemen'i ele geçirmek için bazı saldırılarda bulundular. Ancak Osmanlı güçleri bunlara pek fırsat vermediler. Bunun üzerine İngilizler 19. yüzyılın başlarından itibaren Aden Körfezi'nde deniz güçlerini artırdı, 1839'da da Aden'i işgal ettiler. Burayı üs edinen İngilizler daha sonra Güney Yemen olarak bilinen bölgeyi işgal ettiler. Kuzey Yemen ise herhangi bir Avrupa ülkesinin sömürgesi durumuna düşmeden 30 Ekim 1918'e kadar Osmanlı yönetiminde kaldı. Bu tarihte de bağımsız oldu. Türkiye Lozan anlaşmasında Kuzey Yemen'in bağımsızlığını ve Güney Yemen'in İngiliz işgaline geçmesini resmen tanıdı. Kuzey Yemen'in bağımsız olmasından sonra yönetim Zeydi imamlara geçti. Osmanlı Devleti'nin Yemen üzerindeki hâkimiyetinin son bulduğu tarihte Zeydilerin dini lideri olan İmam Yahya 24 Şubat 1924'te kendisini Yemen kralı ilan etti. Onun yönetimi 14 Şubat 1948'de öldürülmesine kadar sürdü. Öldürülmesinden sonra saltanata oğlu Ahmed geçti. Onun 18 Eylül 1962'de saltanattan çekilmesi üzerine yerine oğlu Seyfulislâm geçti. Seyfulislâm sadece dokuz gün tahtta kalabildi ve 27 Eylül 1962'de gerçekleştirilen darbeyle tahttan indirilerek cumhuriyet rejimi ilan edildi ve Abdüsselâl cumhurbaşkanı yapıldı. Ancak bu olay ülkeyi bir iç savaşa soktu ve bu iç savaş İmam Seyfulislâm'ın 1967'de saltanattan tamamen feragat etmesine kadar sürdü. 5 Kasım 1967'de Kadı Abdurrahman İryani cumhurbaşkanı seçildi. Onun yönetimi 1974 Haziran'ına kadar sürdü. Yerine İbrahim Hamdani geçti ve 6 Şubat 1978'e kadar görevde kaldı. 6 Şubat 1978'de hâlen bu görevi yürütmekte olan Ali Abdullah Salih cumhurbaşkanlığına geçti. Güney Yemen 30 Kasım 1967'ye kadar İngiliz işgalinde kaldı. Bu tarihte bağımsızlığını elde eden Güney Yemen, Kuzey Yemen'den ayrı bir devlet oldu ve ilk cumhurbaşkanlığına Sa'bani getirildi. Sa'bani 22 Haziran 1969'da komünist bir darbeyle düşürüldü ve yetkilerini 5 kişilik bir başkanlık konseyi üstlendi. Arap dünyasının ilk komünist devleti olan Güney Yemen'in adı 30 Kasım 1970'de Yemen Demokratik Halk Cumhuriyeti olarak değiştirildi. Sâlim Rubai Ali de devlet başkanı oldu. Devlet başkanlığına 1978'de Ali Nasır Muhammed getirildi. Aynı yılın Aralık ayında Sosyalist Parti genel sekreteri Abdülfettah İsmail devlet başkan oldu. 1980'de Ali Nasır Muhammed yeniden devlet başkanı oldu. 12 Ocak 1986'da komünistler arasında bir silahlı çatışma çıktı ve Ali Nasır Muhammed'in taraftarları yenilgiye uğratıldı. Bu olaylardan sonra Haydar Ebu Bekir el-Attas devlet başkanı, Ali Sâlim el-Beyd'de iktidarı elinde tutan Sosyalist Parti'nin genel sekreteri oldu. İki Yemen Nisan 1990'da bir birleşme anlaşması imzaladı ve bu anlaşma uyarınca 22 Mayıs 1990'da birleşme gerçekleştirildi. Anlaşma 22 Kasım 1992'ye kadarki sürenin geçiş süresi olarak kabul edilmesini, bu sürenin bitiminde seçim yapılmasını ve geçiş dönemi sonrası idari mekanizmasının bu seçim sonuçlarına göre belirlenmesini öngörüyordu. Geçiş döneminde birleşik Yemen'in cumhurbaşkanı Kuzey Yemen cumhurbaşkanı Ali Abdullah Salih, cumhurbaşkanı yardımcısı Güney Yemen Sosyalist Parti lideri Ali Sâlim el-Beyd, başbakanı da Güney Yemen cumhurbaşkanı Haydar Ebu Bekir el-Attas olacaktı. Ancak Sosyalist Parti geçiş dönemi sonunda yapılacak seçimlerde bir başarı elde edemeyeceğini anlayınca seçimin ertelenmesini ve kendisine seçim sonrası için bazı garantiler verilmesini istedi. Yapılan gizli görüşmeler sonunda seçimler 27 Nisan 1993'e ertelendiyse de Sosyalist Parti istediği garantileri alamadı. Seçimlerde de önemli bir başarı gösteremeyince parti lideri Ali Sâlim el-Beyd Kuzeyli yöneticileri çeşitli şekillerde itham etmeye başladı ve çok geçmeden başkent San'a'yı terk ederek Aden'e yerleşti. Bu olayları izleyen ithamlar 20 Şubat 1994'te silahlı çatışmaya dönüştü ve Yemen yeni bir iç savaşın içine sürüklenmiş oldu. Güney Yemen tarafı 12 Mayıs 1994'te Kuzey'den ayrıldığını bildirerek bağımsızlığını ilan ettiyse de Kuzey Yemen yöneticileri bunu kabul etmeyerek isyancı Güney Yemen birliklerinin mevzilerine yönelik saldırılarını şiddetlendirdiler. Temmuz 1994 başlarında da Güney Yemen'in başkenti Aden'i ele geçirerek bütün Yemen'i yönetimleri altına aldılar.Böylelikle Kuzey Yemen ve Güney Yemen tek Yemen Cumhuriyeti adı altında birleşmiştir.