創立年代は不詳ですが、言い伝えでは約５７０年前の文安４年（１４４７年）に折居姥の草創とされています。津花町より現在地に移転したのが正保元年（１６４４年）。文化１４年（１８１７年）には正一位姥神大神社宮号を勅許された北海道最古の神社です。

ニシン漁の始祖として漁業家の信仰をあつめ、姥神大神宮縁起として伝えられる折居姥をまつっています。安永３年（１７７４年）に元江差港入り口から現在地（姥神町）に移され、現在の社殿は天保７年（１８３６年）に再建されたものです。

毎年８月９日から１１日までの３日間、１３台の豪華な山車や御輿が町を練り歩く渡御祭が行われています。

北前船による交易の時代、船主が新しく船を求めると船絵馬を造って信仰している神社に奉納するなどしていました。姥神町の船主・田口伊兵衛が６艘の船の船頭と奉納しました。

今から５００年もの昔、様々な予言をするひとりの姥がおりました。あるとき、姥はかもめ島で翁から小さな瓶を渡され、教えられたとおり瓶を海に投げたところ、江差にニシンが群来るようになったのです。この瓶が石と化して海上に現われ、瓶子岩になったと伝えられ、姥は人々から折居様と呼ばれ神のようにうやまわれていました。

毎年７月の第一土日に開催される「かもめ島まつり」では、町内の若者たちによって全長３０ｍにおよぶ〆縄がかけられます。