Masjid Tanah mendapat nama sempena sebuah masjid yang terletak di tengah-tengah pekan yang dibina daripada tanah di tepian sungai. Lokasinya terletak di dalam Pekan Masjid Tanah. Masjid ini dibina pada tahun 1800an oleh seorang Sheikh yang berasal dari Gujerat. Namun Hj. Sulong bin Sibeng merupakan orang tempatan yang turut bekerja keras dalam pembinaannya. Pada awalnya pembinaan masjid ini berasaskan tanah.
Oleh hal yang demikian, masjid tersebut dikenali sebagai Masjid Tanah. Masjid ini pernah menjadi tempat sembahyang bagi orang-orang dari Kampung Tengah, Kampung Durian Daun dan beberapa kampung lain sebelum kewujudan masjid-masjid di setiap kampung di kawasan Masjid Tanah. Pada tahun 1951 masjid ini telah diubahsuai. Antara kerja-kerja yang dilakukan ialah memperbaiki tapak dan menggantikan atapnya. Masjid ini hanya dijadikan sebagai tempat persinggahan sahaja setelah masjid baru Masjid Tanah siap dibina.
Masjid Tanah suatu ketika dahulu adalah sebuah pekan hab-perdagangan yang dibawa daripada Kota Melaka ke daerah-daerah sekitar utara Negeri Melaka dan Alor Gajah dan juga sebaliknya. Masjid Tanah dihuni pelbagai lapisan masyarakat yang penduduk utamanya adalah berbangsa Melayu. Disebabkan lokasinya yang berda didalam daerah Alor Gajah dan berdekatan dengan sempadan Negeri Sembilan, sebilangan besar dari penduduk Masjid Tanah dan kampung-kampung sekelilingnya bertutur dalam loghat Negeri Sembilan atau loghat Minang, atau lebih dikenali oleh orang Masjid Tanah dengan loghat 'Hulu' atau 'Cakap Hulu'. Adat Perpatih juga diamalkan oleh mereka dengan mengunakan sistem 'Suku' atau 'Waris', namun akibat peredaran zaman, adat ini makin lama semakin ditinggalkan.
Tradisi 'Berkampung' yang merapatkan silaturrahim antara saudara-mara yang muda dan yang tua dan membuat perancangan untuk bekerja secara gotong royong sebelum sesuatu majlis yang besar diadakan seperti perkahwinan, telah mula ditinggalkan. Ini mungkin berlaku setelah golongan muda telah lupa akan pentingnya majlis ini dan semangat gotong royong telah diganti dengan sistem katering. Tanah-tanah pusaka juga dilihat tidak lagi diwariskan secara adat dimana anak-anak perempuan diutamakan.
