江戸時代には、長雨で農作物の不作、凶作に繋がる。これらは、浅間山などの火山活動や地震災害の影響もある。特に、1722（享保７）には、秋山で凶作となっている。
長野県浅間山が天明三年（1783）5月から8月に掛けて、4回の休止を挟み6回の噴火活動が記録されている。特に、8月に大規模な噴火（Ⅳ期～Ⅵ期）が起こり、苗場山麓周辺の秋山郷に火山灰が降り積もった。この災害を契機に天候不順や冷害が起こることで「天明の大飢饉」が発生した。また、1783～1784（天明3～4）年の天明の飢饉では、被害が多く出ている。天明3年の凶作による飢饉によって大秋山村（5軒、15人）、矢櫃村（2軒、4人）が廃村になったという。屋敷集落の人々により、昭和18年に「秋山先祖代々之墓」として石碑を建立された。
1949（昭和24）年に小千谷市片貝の横山吉平が、「秋山観世音大菩薩」の石碑を建立したと記している。現在もそれらの石碑は綺麗に立ち並べられ、地蔵や如意輪観音像、石祠を見ることができ、当時を偲ばせられる。石造物の後には、枯れた栗の木があり、秋山郷の山々には、栗の木が自然に生えていることは少ないことから、集落やかつて集落があった場所の証拠として考えることが出来る。
同時期に、矢櫃村も廃村となった。後年、小赤沢集落の方々により「矢櫃萬霊供養塔」が建てられ、横には地蔵像と如意輪観音像が立っている。
『秋山記行』において、鈴木牧之は、甘酒村を訪れ、2軒のうち1軒の1人の老婆に会い、アンギン編みについて聞きとる。そこで、天明の飢饉によって、大秋山村、矢櫃村が廃村になったことを聞く。けれども、そのわずか5年後、1834～1837（天保4～8）年までに続く凶作による飢饉によって、甘酒村も滅びてしまった。小赤沢集落の方々により「甘酒萬霊供養塔」が建立され、両脇には、地蔵、如意輪観音像などの石碑が立ち並ぶ。この飢饉では結東集落に逸話が残っている。片貝の佐藤佐平治による救済である。救済のために米、金を用立て、秋山郷の集落を救済している。結東集落では、救済のためのお金を再度佐藤佐平治に借りてもらい、その利息で食料の購入や農地整備が行われ、そのやり取りは、昭和まで続いた。この佐藤佐平治の救済により、結東集落は存続し、今もその逸話が語り継がれている。
この他、佐藤佐平治以外にも、外丸、岡、赤沢集落の庄屋による救済も行われている。これらは記録としてのこっているものの、広く周知されず、その家で代々語り継がれてきたという。このような廃村となる大きな飢饉以外にも、凶作や冷害は江戸時代に多く記録され、本地域の自然の厳しさを今に伝えている。
