Masyarakat India Muslim yang berhijrah dari Selatan India ke Tanah Melayu pada abad ke-18 telah membina sebuah masjid di bandar Klang seawal tahun 1890.
Kemudian pada tahun 1904, sebuah bangunan telah dibina dan berfungsi sebagai rumah ibadat yang dinamakan Masjid India Selatan Klang. Ia ditadbir oleh sekumpulan masyarakat India Muslim yang bermazhab Hanafi diketuai oleh saudagar R.M Pakir Mohamed.
(Gambar rupa bentuk asal Masjid India Selatan Klang pada tahun 1904.)
Pada tahun 1920-an, tapak masjid itu telah dikurniakan secara rasminya kepada seorang saudagar terkenal, R.E Mohamed Kassim oleh Sultan Selangor kelima, Sultan Ala'eddin Suleiman Shah iaitu nenda kepada Sultan Sharafuddin.R.E Mohamed Kassim yang merupakan ketua masyarakat India Muslim (Al-Hasanatul Jariatul Islameya) pada waktu itu telah mentadbir masjid tersebut dengan penuh tanggungjawab sebelum meninggal dunia pada tahun 1931. Di atas perkenan sultan, jenazah Allahyarham dimakamkan bersebelahan masjid.
(ALLAHYARHAM R.E MOHAMED KASSIM)
Pada tahun 1974, masjid ini telah dibina semula dan diuruskan oleh Abdul Gafoor K.A Peer Mohamed. Almarhum Sultan Salahuddin Abdul Aziz Shah telah merasmikan pembukaan masjid itu pada 30 Ogos 1974.Sejak itu, masjid tersebut telah ditadbir dengan penuh cemerlang oleh Shaikh Dawood Abdul Razack (1974-1988), Abdul Kadir Maideen (1988-1994) dan Md. Yousoff Noor Mohamed (1994-hingga kini).