元徳2年（1330）、大神山神社を尊信した備中郡司渡邊日向の守の一子、照政公が、参拝の帰路、不慮の最後をとげた人々を憐れみ、ココ大山下山の地に小祠を建て
た「下山善神」が起源。
その後、数々の霊験あり、夢のお告げによりこの地に奉還したものとされています。
この古社は、過去多くの武将とも信仰があり、現在の社殿も代々信仰の厚かった石州津和野の領主亀井隠岐守矩貴公が文化2年（1805）年に再建したもの。
現在は県の重要文化財に指定されています。
造りとしては、八棟権現造の複雑な屋根構造を持ちつつ、非常に華麗な造りを誇っています。