長山古寺位於廟徑，前原是一條古道，東連萬屋邊，西接打鼓嶺。有學者認為長山古寺是古代遺留下來的驛站，因為早年的新安縣大致分為東西兩路，西路的南頭城是縣城所在，東路則有大鵬城。由縣城南頭東往大鵬城，最方便的路徑就是經深圳，穿文錦渡，到打鼓嶺，過長山古寺，出萬屋邊，越拗下，抵沙頭角海。長山古寺正當此古道之中途。過去經沙頭角前往深圳的長途旅客，半途均喜歡在寺院歇息，因其免費供應茶水與旅客。由於廟徑是從沙頭角往深圳的必經之路，故寺院亦同時擁有軍事的重要性。

寺內有多首對聯，頗有哲理及具有滄桑感，如佛壇的對聯：「有意燒香，何須遠航南海；誠心禮佛，此處即是西天。」寺外的泥塑對聯：「長亭惜別，古道臨岐，雨笠塵襟人日日；山鳥吟春，寺公送曉，煙鐘風磬我年年。」上下聯的第一字和第五字嵌出了長山古寺四字。寺前原來的羊腸小徑己改為康莊大道，經常有貨櫃車往來穿梭。

長山古寺是兩進式的建築，建於兩層平台之上，後進比前進高出約一米。寺內主要供奉佛祖、觀音及地藏王。建築物的屋頂及大部份文物於1920年一場大火焚毀，故所收藏的古物不多，火災後迅即展開搶修。最近一次的全面復修工於1997年進行，並由民政事務局古物古蹟辦事處及建築署監督，工程費用四百二十萬元由香港賽馬會慈善信托基金慷慨贊助。長山古寺於1998年1月16日被列為法定古蹟。委員會為慶祝重修工程順利完成，特別在1999年1月4日於長山古寺舉行重修竣工開光典禮。