天平元年（729年）、東北地方初の寺院として行基が開いたとされる。東光山薬師寺と称していたが、延暦年間（782年 - 806年）に、蝦夷征伐による兵火により焼失。その後大同2年（807年）に坂上田村麻呂により再興され、
嘉承2年（849年）円仁（慈覚大師）が中興して現在の寺号となったとされる。
もとは修験（山伏）の寺であり、胆沢城鎮守の式内社である石手堰神社の別当寺として、盛時には48の伽藍があったと伝えられ、一帯には多くの寺跡がある。
現在の本堂と庫裏は明治17年（1884年）に再建される。 本尊は、薬師如来坐像で、胎内に貞観四年（862）の造像銘があり、古代東北の仏教信仰を伝える貴重な作例である。
また、「黒石寺蘇民祭」は、東北地方の千年以上続く蘇民信仰の伝播を伺わせる祭りで、古代の姿を今に伝える貴重な民族的遺産である。2025年以降の蘇民祭については、実施しないと決定された。

中央幕内が本尊の薬師如来（国指定重要文化財） 脇侍の日光菩薩、月光菩薩（県指定文化財） その両側に十二神将が並ぶ	本堂（薬師堂）の縁記
本堂前の狛犬	盛時には48の伽藍があった東北随一の古刹
小高い場所にある「妙見堂」 蘇民祭の時は、裸の男衆がこの場所を三回回る	一階は御供所　二階は鐘楼