高岩神社は、慈覚大師によって建立され、薬師如来を本尊としていたとされます。寛政６年（1794年）、檜山の某棟梁によって建築された本殿は、当時四間（7.2m）四面板葺きの白石造りで、京都の清水寺に劣らないと言われたといいます。現在の岩窟の傍らにある社は、近年に造営されたものですが、本尊の阿弥陀薬師観音は慈覚大師作の木像で（後年、銅像に造らせて安置）、観音は当国３３カ所・第２９番目の札所です。
神社の裏手、社に覆いかぶさるような蜂の巣状の巨大な岩は「籠目岩」。この岩には、格子戸がはめられた祠があり、猿の木像が祀られています。
→【高岩山】

毎年、旧暦１月１５日には、「裸参り」が行われます。月明かりだけを頼りに、冷たい藤琴川で身を清めた若者らが高岩山の雪の山道を一気に駆け上がり、高岩神社に参詣します。もともとは、徴兵検査前の若者が武運長久を祈願して行ったものと言われていますが、戦後は途絶えていました。しかし、参詣する人も少なくなってさびれてきた神社を再興したいと願う荷上場青年会が、高岩神社のPRと冬の地域イベントにと、平成３年に裸参りを復活させました。