論文の概要: Knowledge Collapse in LLMs: When Fluency Survives but Facts Fail under Recursive Synthetic Training

• arxiv url: http://arxiv.org/abs/2509.04796v1
• Date: Fri, 05 Sep 2025 04:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.475475
• Title: Knowledge Collapse in LLMs: When Fluency Survives but Facts Fail under Recursive Synthetic Training
• Title（参考訳）: LLMにおける知識崩壊--再帰的合成訓練で周波数が持続するが失敗する
• Authors: Figarri Keisha, Zekun Wu, Ze Wang, Adriano Koshiyama, Philip Treleaven,
• Abstract要約: 大規模な言語モデルは、人間が書き込んだコンテンツの不足のために、合成データにますます依存している。 モデル生成出力に対する再帰的なトレーニングは、事実の信頼性を脅かす退化過程であるモデル崩壊につながる。
• 参考スコア（独自算出の注目度）: 2.094557609248011
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models increasingly rely on synthetic data due to human-written content scarcity, yet recursive training on model-generated outputs leads to model collapse, a degenerative process threatening factual reliability. We define knowledge collapse as a distinct three-stage phenomenon where factual accuracy deteriorates while surface fluency persists, creating "confidently wrong" outputs that pose critical risks in accuracy-dependent domains. Through controlled experiments with recursive synthetic training, we demonstrate that collapse trajectory and timing depend critically on instruction format, distinguishing instruction-following collapse from traditional model collapse through its conditional, prompt-dependent nature. We propose domain-specific synthetic training as a targeted mitigation strategy that achieves substantial improvements in collapse resistance while maintaining computational efficiency. Our evaluation framework combines model-centric indicators with task-centric metrics to detect distinct degradation phases, enabling reproducible assessment of epistemic deterioration across different language models. These findings provide both theoretical insights into collapse dynamics and practical guidance for sustainable AI training in knowledge-intensive applications where accuracy is paramount.
• Abstract（参考訳）: 大規模な言語モデルは、人間が書き込んだコンテンツの不足のため、合成データにますます依存するが、モデル生成出力に対する再帰的なトレーニングは、事実の信頼性を脅かす変性過程であるモデル崩壊につながる。 我々は、知識崩壊を、事実的精度が劣化し、表面流布が持続する3段階の現象として定義し、正確性に依存した領域に重大なリスクをもたらす「確実な誤り」の出力を生成する。 再帰的合成訓練による制御実験を通して, 破壊軌道とタイミングは命令形式に大きく依存することを示した。 本稿では,計算効率を保ちながら,破壊抵抗の大幅な改善を実現するための目標緩和戦略として,ドメイン固有合成トレーニングを提案する。 評価フレームワークは,モデル中心の指標とタスク中心の指標を組み合わせることで,異なる劣化位相を検知し,異なる言語モデル間での疫学的劣化の再現可能な評価を可能にする。 これらの知見は、崩壊力学の理論的洞察と、精度が最重要である知識集約型アプリケーションにおける持続可能なAIトレーニングのための実践的ガイダンスの両方を提供する。

関連論文リスト

• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Bridging Interpretability and Robustness Using LIME-Guided Model Refinement [0.0]
  LIME(Local Interpretable Model-Agnostic Explanations)は、モデルロバスト性を体系的に強化する。 複数のベンチマークデータセットに対する実証的な評価は、LIME誘導の洗練は解釈可能性を改善するだけでなく、敵の摂動に対する耐性を著しく向上し、アウト・オブ・ディストリビューションデータへの一般化を促進することを示している。
  論文  参考訳（メタデータ） (2024-12-25T17:32:45Z)
• Unveiling and Addressing Pseudo Forgetting in Large Language Models [17.888328120571245]
  従来のタスクのパフォーマンス劣化は、能力の喪失によるものではなく、適切なモデル能力の活性化のための命令の失敗によるものであることを示す。 Rationale-Guidance Difficulty based Replay (RGD-R) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T14:28:04Z)
• Learning by Surprise: Surplexity for Mitigating Model Collapse in Generative AI [1.6545633988217645]
  合成コンテンツがWebに浸透するにつれて、生成的AIモデルは自身の出力で再訓練される可能性がある。 これによってモデルが崩壊し、世代間でパフォーマンスと多様性が徐々に失われます。 本稿では,モデルの次点確率分布から直接崩壊を特徴付ける新しい尺度を提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:48Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• An Experimental Study of Semantic Continuity for Deep Learning Models [11.883949320223078]
  意味的不連続性は、不適切な訓練対象から生じ、敵対的堅牢性や解釈可能性などの悪名高い問題に寄与すると主張している。 まず、既存のディープラーニングモデルにおける意味的不連続性の証拠を提供するためにデータ分析を行い、その後、理論上モデルがスムーズな勾配を得ることができ、セマンティック指向の特徴を学習できる単純な意味的連続性制約を設計する。
  論文  参考訳（メタデータ） (2020-11-19T12:23:28Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。