論文の概要: Model Collapse as Cultural Evolution

• arxiv url: http://arxiv.org/abs/2605.23054v1
• Date: Thu, 21 May 2026 21:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.10727
• Title: Model Collapse as Cultural Evolution
• Title（参考訳）: 文化進化としてのモデル崩壊
• Authors: Dongxin Guo, Jikun Wu, Siu Ming Yiu,
• Abstract要約: 文化進化からの反復学習理論がこのギャップを埋めていることを示す。 検証可能な5つの予測を導出し、その理論に対して独特に識別できるものと確認可能なものとを区別し、自己学習によってそれらを検証する。 決定的な識別的発見: 構成性は、フィルターなしの自己学習の下で非単調な軌道に従う。
• 参考スコア（独自算出の注目度）: 13.891522069967507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model collapse, the progressive degradation of LLMs trained on their own outputs, has been characterized statistically but lacks a linguistic explanation for which structures degrade, in what order, and why. We show that iterated learning theory from cultural evolution fills this gap. We derive five falsifiable predictions, distinguish those uniquely discriminative for the theory from confirmatory ones, and test them by self-training LLaMA-2-7B and Mistral-7B over 10 generations in English, German, and Turkish. The critical discriminative finding: compositionality follows a non-monotonic trajectory (initially rising, then falling) under unfiltered self-training. This signature persists with maximally regular seed data (ruling out noise removal) and is sustained only by task-grounded filtering, not random filtering, providing the first LLM-scale evidence for the compression-communication tradeoff. All predictions are confirmed with large effect sizes (Hedges' $g > 1.6$; $\mathrm{BF}_{10} > 100$), and LLM regularization gradients closely match human behavioral data ($R^2 = 0.94$). These results reframe model collapse as a cultural transmission phenomenon and yield concrete principles for self-training pipeline design.
• Abstract（参考訳）: モデル崩壊は、自身の出力に基づいて訓練されたLSMの段階的な劣化であり、統計的に特徴付けられるが、どの構造がどの順序で、なぜ劣化するかという言語学的説明が欠けている。 文化進化からの反復学習理論がこのギャップを埋めていることを示す。 我々は5つの偽造予測を導出し、その理論と確証的理論を区別し、LLaMA-2-7BとMistral-7Bを英語、ドイツ語、トルコ語で10世代にわたって自己学習して検証する。 決定的な識別的発見: 構成性は非単調な軌道(最初は上昇し、その後落下する)に従う。 このシグネチャは、最大正規のシードデータ(ノイズ除去をルーティングする)で持続し、ランダムなフィルタリングではなくタスクグラウンドのフィルタリングによってのみ持続され、圧縮通信のトレードオフを示す最初のLLMスケールの証拠となる。 すべての予測は大きな効果サイズ(Hedges' $g > 1.6$; $\mathrm{BF}_{10} > 100$)で確認され、LLM正規化勾配は人間の行動データ(R^2 = 0.94$)と密接に一致する。 これらの結果は、文化的伝達現象としてモデル崩壊を再構築し、自己学習パイプライン設計のための具体的な原則を導出する。

関連論文リスト

• The Oracle's Fingerprint: Correlated AI Forecasting Errors and the Limits of Bias Transmission [0.0]
  GPT-4o, Claude, Gemini は2進予測問題に対して高い相関の予測誤差を示した。 研究2では,この相関バイアスがヒトの群集予測に伝播したかどうかを検証した。 研究3では,人間の予測誤差のカテゴリーレベルのパターンがLLMバイアス指紋に近づきつつあるかを検討した。
  論文  参考訳（メタデータ） (2026-04-07T19:45:40Z)
• Deriving Decoder-Free Sparse Autoencoders from First Principles [0.0]
  理論はガウス混合モデルにおける対数決定式に類似した体積制御なしで崩壊を予測する。 ボリューム制御のためのLSE目標とInfoMax正則化を備えた単一層エンコーダで理論をインスタンス化する。 実験は理論の予測を裏付ける。
  論文  参考訳（メタデータ） (2026-01-10T08:13:58Z)
• LLMs Can Get "Brain Rot"! [68.08198331505695]
  ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する 実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。 その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-15T13:28:49Z)
• Context-Free Synthetic Data Mitigates Forgetting [13.825822994127943]
  文脈自由な世代による微調整データセットの強化は、忘れを省くことを示す。 予備学習用OLMo-1Bと推論用R1-Distill-Llama-8Bについて検討した。
  論文  参考訳（メタデータ） (2025-05-20T01:47:31Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
  大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。 モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。 我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
  論文  参考訳（メタデータ） (2023-11-14T23:40:22Z)
• Do pretrained Transformers Learn In-Context by Gradient Descent? [21.23795112800977]
  本稿では,自然データを用いた言語モデル(LLaMa-7B)における文脈内学習(ICL)の出現について検討する。 ICL と Gradient Descent (GD) は言語モデルの出力分布を異なる方法で変更する。 これらの結果は、ICLとGDの同値性は未解決の仮説であり、さらなる研究が必要であることを示唆している。
  論文  参考訳（メタデータ） (2023-10-12T17:32:09Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。