金刚寺位于城东1.5公里的寨子山麓。明万历三十二年，由延绥镇总兵杜文焕创建。寺坐南向北，总占地5500平方米。三教殿院落为寺主体建筑。三教殿和过殿均上下两层，底层均为砖砌五楼一枕通券洞，外接斗拱飞檐明廊建筑，上层为砖木结构楼阁。三教殿内供老子、释迦、孔子，合三教于一体。寺内环境优美，广植牡丹、芍药、偷闲、丁香等名贵花卉。山门石阶下一清泉流泻而过，环抱寺院左右山梁，山廓布满桃树。

　　1937年抗战爆发后，邓宝珊将军任晋、陕、绥边区总司令进驻榆林时即居此寺。后紧靠寺西辟筑密屋一院，额称”桃林山庄”，所刻字迹乃依于右任手书镌成。