江蘇省鎮江市是我國伊斯蘭教傳人較早的地區之一，唐朝初年就有來自阿拉伯、波斯地區的商人前來貿易、經商，并建有清真寺。明萬歷二十四年(1596年)《鎮江府志》記載：“清真禮拜寺系唐貞觀二年(628年)始建于仁安坊阜民街，明洪武間毀后再建。”宋元時期，在鎮江定居的穆斯林人口大增，米芾、薩都刺等一大批回族官員在此留下了清廉的政績和無數傳世書畫作品。到明朝時期，回族在鎮江已經形成大分散小集中的態勢，穆斯林聚居區亦已形成。清朝末期到民國期間，鎮江回族經濟發展迅速，壟斷了當地五金、百貨、餐飲、珠寶等行業的大部分市場。

為了方便進行宗教生活，生活在聚居區的鎮江穆斯林便集資修建清真寺，山巷清真寺即是其中之一。該寺西臨著名街道山巷，故得其名，又因地處古城西門外，亦稱城西清真寺、西大寺。據清光緒五年(1879年)《丹徒縣志》記載：山巷清真寺初建時僅有茅舍三間，“系康熙年間(1662一1722年)廓其基宇，咸豐三年  (1853年)毀于兵燹。同治十二年(1873年)重建”。后來，穆斯林群眾通過抽取“日兒錢”，聚沙成塔，終于在光緒二十八年(1902年)三月對山巷清真寺進行了一次大規模擴建，使之初具今日規模。

山巷清真寺占地近3畝，主體為中國宮殿式建筑風格，主要建筑有門樓、前廳、天井、大殿、南講堂、對廳和望月樓。雕梁畫棟，結構嚴謹，莊重典雅。

清真寺正門面對長方形照壁，坐東朝西。正門樓面闊三間，進深兩間，綠色大門居中，一對漢白玉石鼓分立左右，斗拱復檐飾以水彩，門額高懸朱漆紅匾一塊，上書“清真寺”三個金字。寺內“井”字形大天井的四角，栽有批把、銀杏、金桂和翠柏，四周繞以木質花式回廊。天井西面是禮拜大殿，由窯殿、正殿、輔殿(備殿)與卷棚組成。其地基高于天井約60厘米，條石臺階被寓以宗教含義，三級臺階數目分別為五、二、七，分別代表“五大功修”、“兩世吉慶”、“七日聚禮”，可謂獨具匠心。大殿面闊五楹、進深十四檁，硬山高脊，斗拱單檐，正面置20扇高大窗格花門，兩旁開有8扇門，便于通風及緊急疏散。整個大殿共使用了直徑45厘米、高3.5-8米不等的圓木立柱52根。窯殿面闊7.4米，進深5.2米，兩角挑出長檐，檐角翹起，兩旁有16扇格式明窗，當中砌成“米哈拉布”(凹壁)，紅漆“敏拜爾”(宣講臺)置于右首。

山巷清真寺內部部分結構帶有明顯的阿拉伯建筑風格，如禮拜大殿兩組拱形圓門。大殿橫梁及頂部的粉末水彩畫為南方所罕見，以山水、花草、樹木、瓜果和幾何圖形、云紋等作為裝飾圖案，計有千余幅，其中帶有米芾開創的“米家山水”畫風的長方形山水畫多達40幅。此外，還有少見的八邊形瘦竹圖4幅，《古蘭經》中提及的水果和蔬菜在此也有所體現。

歷史上，鎮江曾是中國伊斯蘭教金陵學派“以儒詮經”的重要地區之一。明末清初，江南回族知識分子王岱輿、張中、劉智、伍遵契、趙燦等紛紛著書立說，他們用中國傳統的儒家思想來詮釋伊斯蘭經典教義。當時，伍遵契就任鎮江清真寺掌教。山巷清真寺充分發揮了經濟獨立和運輸便利的優勢，木刻刊印過《寶命真經》、《天方典禮》、《天方性禮》、《天方至圣實錄》、《大化總歸》等20多種伊斯蘭教哲學和教義書籍，通過水陸兩路，輸往全國各地。據中國伊協副會長、江蘇省伊協會長伍貽業考證：“鎮江在明清兩朝是伊斯蘭教文化出版事業中心，有許多穆斯林先賢的宗教著作就是在鎮江出版的，單是刻版少說也在數萬之上。”現北京民族文化宮、中央民族大學圖書館、北京大學圖書館等處均藏有該時期鎮江清真寺版本的書籍。

歷史上，山巷清真寺的經堂教育也在國內外享有盛名。山巷清真寺清真大學創辦于光緒二十九年(1903年)，當時掌教楊正茲阿訇特聘河南王寶云經師(王四阿訇)任首席講師，自己也授課，清真大學的“學院”門楣石刻現仍存于寺內。1936年還創辦了《回報》，內容有各地伊斯蘭教的動態、新聞和經典、教義的研究。期間聘請過楊竹坪、劉振宇、劉金亮、李福真、買俊三、馬品三等著名經師在此設帳講學。

抗戰期間，山巷清真寺成立了“西大寺避難所，收容各族難民”，“為被炸毀的穆源小學提供教學校舍長達20年之久(1938-1958年)”。抗戰勝利后，山巷清真寺組織部分殷實富有的穆斯林企業家成立了回民敬恤會，對貧困穆斯林進行扶貧；另外還辦起“回教施診所”，為各族貧病百姓送醫施藥、免費治病。敬恤會奉行“扶貧濟困、團結互助”的宗旨，一直延續至今。山巷清真寺董事會還組織具有相當經濟實力的回族商人聯合出資購買了南郊何家灣36畝山地作為回族公墓，這是鎮江有史以來第一塊真正意義上的回族公墓。

山巷清真寺一直秉承著傳承、研究伊斯蘭文化的使命。近些年，曾協助江蘇省伊斯蘭教協會成功舉辦了“江蘇省第一期中青年阿訇培訓班”以及“伊斯蘭教傳人江蘇1350年歷史與發展研討會”。

改革開放以來，山巷清真寺每年都要接待大批來自海內外的穆斯林，已成為鎮江市對外交往的重要窗口。一位曾僑居加拿大的巴基斯坦穆斯林已在鎮江工作了10年，鎮江成為了他的第二故鄉。一次，當被問及是否習慣鎮江的生活時，他說：“知感真主！非常適應。鎮江環境幽雅，人民安居樂業，信仰自由，這里沒有戰爭和恐怖，只有和平。”

近年來，在各級政府的關心、支持下，山巷清真寺的環境愈加幽雅，硬件不斷完善，先后被授予“鎮江市民族團結進步模范單位”、“全國模范清真寺”、“江蘇省模范清真寺”、“鎮江市先進宗教活動場所”等光榮稱號。目前，山巷清真寺正計劃，在已完成的《中國少數民族古籍總目提要？江蘇回族卷》的基礎上，進一步加大鎮江地區資料的搜集整理力度，努力挖掘伊斯蘭教歷史文化內涵，建立“鎮江伊斯蘭教文博館”，通過一系列文章和實物向人們進一步展示鎮江悠久燦爛的伊斯蘭文化。