"Sajadah Ka'bah" dibintangi oleh Rhoma Irama, musafir, sedang mengunjungi masjid-masjid di Lombok dalam rangka silahturahmi dan syiar ukhuwah Islamiyah dengan para pengurus masjid yang tergabung dalam forum Fahmi Tamami. Tanpa sengaja Rhoma bertemu dengan seorang janda, Sohiba dan putrinya, Saimah, yang masjidnya menjadi incaran Towi, pengusaha yang berniat mengubah masjid dan rumah Sohiba menjadi tempat perjudian terbesar di Lombok.

Towi berhasil memanipulasi Ridho, anak Rhoma, sehingga Rhoma harus berhadapan denganTowi dan anaknya sendiri di perebutan masjid dan tanah Sohiba. Ridho menentang ayahandanya, karena tercampur rasa cintanya kepada putri  tunggal Towi.

Rhoma menerima tantangan duel dengan Towi untuk menentukan siapa yang berhak atas masjid dan rumah Sohiba, sementara anak buah Towi mengintimidasi Sohiba dan putrinya serta merampas selembar sajadah bergambar Ka’bah yang baru ditenun Sohibah.