横山家は初代から数えること２００年が経過しています。初代は天明６年（１７８６年）現在地において漁業、商業、回船問屋を営んでいました。現在の建物は今から約１６０年前に建てられた家屋で、昭和３８年に道の文化財指定を受けました。母屋と四番倉にはニシン漁全盛期のころに使用されていた生活用具などが陳列しており、当時の暮らし振りを今に仕える貴重な建物のひとつです。

横山家は、現在まで２００年以上続いている旧家で、数多くの生活用品が残されています。

建物はウナギの寝床形式で、入口から帳場、居間と続き、通り庭を通る人がよく見えるための横座があります。昔から地震の多い地域だったことから、多少の揺れも吸収する遊びのある構造になっていますが、そのため冬は家の中でも寒さが厳しいといいます。倉は１番倉から４番倉まであり、倉に雪や風から守るための「のざや」という屋根がかかっています。
昔は非常に火事が多く、防火用のわらじ、飛び口、ポンプ、バケツ等がたくさん残されています。火事の時にお金を持って逃げるための桐でできた背負い金庫なども現存しています。

横山家では明神丸（みょうじんまる）という船を持っていました。北前船は大きいので沖に停泊させ、小さな船に荷物を移して、はね出しまで荷物を運んでいました。明治のはじめの頃は、このような商家が軒を連ねて並んでいましたが、今ではここ１件だけになってしまいました。それだけに、往時の江差の姿を今に伝える貴重な建物です。

京都名物として知られる「ニシンそば」は、かつて江差から北前船によって日本海を経由して、周山街道、若狭街道のニシンロードで運ばれたニシンによって作られたもの。「それならもともとのルーツは江差ではないでしょうか」と言うのは、江差町で現在もニシンそばの味を守っている横山家ご主人のご意見です。