首任住持慧根法师于清光绪八年（1882）从缅甸请回大小玉佛5尊，留下两尊供沪上信众瞻礼。先在上海张华浜建茅蓬，后于沪郊江湾车站附近建寺，供奉玉佛。慧根法师圆寂后，有本照、宏法法师先后继任住持。宏法法师圆寂后，有可成法师继任住持。
　　他于1918年起，在槟榔路（今安远路）建新寺，10年方成，即今天的玉佛禅寺南院所在地。因可成法师传承禅宗临济法脉，故定名为“玉佛禅寺”。可成法师兴建新寺，费尽心力，被人称为玉佛禅寺的中兴者。

　　可成法师圆寂，由远尘法师、震华法师、止方法师、苇一法师、苇舫法师先后担任住持。其中震华法师法师在寺内创办上海佛学院，培养了一批僧才。又在寺内设立图书馆和弘一大师纪念会，并发行《妙法轮》刊物，大力弘扬佛教文化。1945年，为纪念昆明“一二·一惨案“殉难烈士，在玉佛禅寺举行盛大公祭活动，主祭团由宋庆龄等7人组成，公祭后举行游行，影响甚大。 
 
 　　上海解放后，上海市人民政府拨款修缮了玉佛禅寺。1952年，上海佛教界在寺内启建“祝愿世界和平法会”，恭请虚云法师主法。法会圆满后，虚云法师又留寺主持禅七。
　　 1955年，第十世班禅来寺访问。1957年，接待七国僧侣代表团来访。1963年1月8日，周恩来总理陪同锡兰（今斯里兰卡）总理班达拉奈克夫人来玉佛寺，为她丈夫、已故总理总理班达拉奈克诞辰64周年纪念，延僧64人诵经超荐。十年动乱，玉佛禅寺受到巨大冲击，所幸两尊玉佛和许多珍贵文物都完好无损，是上海唯一完整保存下来的佛教寺院。1978年，玉佛禅寺恢复开放。

　　 1979年，真禅法师被推荐为玉佛禅寺第十任住持。在他的努力下，寺宇焕然一新。1981年起，开始举行各种法务活动，并着手筹印和流通一些经书、法物。

　　 1982年和1992年分别举行建寺100周年和110周年纪念法会。1985年举行传戒活动，由真禅法师开坛传戒，得戒弟子600余人。1995年，真禅法师圆寂。2000年，由诸山长老公推觉醒法师为玉佛禅寺第十一任住持。同年，购进原利群医院旧址，计划改建成玉佛禅寺新的弘法区域。现在的玉佛寺，分为前院和后院两大部分。