江差に渡った義経は、この地で首長であるシタカベのもとに身を寄せている。フミキとの恋に悩んだ義経はある夜ひそかにこの地を離れる決心をした。
弁慶をはじめとするお供の外は日頃愛馬として乗り親しんだ白馬であった。この白馬は義経が蝦夷地をめざして有馬の浜（津軽三廐）までやってきた時、津軽の海が荒れていくら待っても波が静まらないので、義経が日頃信仰している観世音菩薩に三日三夜の祈願をした満願の夜に現れた白髪の老人から、渡海のために貰った三頭の白い竜馬の内の一頭だった。
義経はシタカベから夷船を譲り受けると、それによって蝦夷島の奥地へ向かおうとした。義経は有馬の浜で不思議な老人から譲り受けたこの白馬をどうしても夷船に乗せることができなかった。そこで江差に残して行くことにして、別れを惜しんだ後白い竜馬を鴎島の島陰につないでおくことにしたのだった。
義経主従一行が江差を去った。
しかしその後もこの白い竜馬は、雨の日も風の日も義経の帰りを待ちわびていたが、義経はついに帰ってくることはなかった。
白い竜馬は、いつしか白い岩と化してしまった。しかし、その姿はまるで生あるものの如く、首を上げていなないているかのように見える。
後世の人々は、いつしかこれを馬岩と呼ぶようになった。鴎島に堤防を渡り切り、つき出た岩穴の道を通り抜けて蛭子浜から西を望むと、さながら生あるものの如く見える白い岩がそれである。
遠くから見ると頭部もごくうすく、岩壁にへばり附いたように見えるが、舟に乗って近づいて見ると、全て離れた馬の姿に実によく似た形をなして水面に坐している。
夏などは鴎島の岸を左折して岩伝いに歩くと、近くまで行ってみることができる。

「民話・伝説・史話 －江差百話－」より