論文の概要: Preventing Model Collapse: A Fisher-Rao Perspective on the Dynamics of Training with Synthetic Data

• arxiv url: http://arxiv.org/abs/2609.18878v1
• Date: Wed, 16 Sep 2026 16:14:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.891423
• Title: Preventing Model Collapse: A Fisher-Rao Perspective on the Dynamics of Training with Synthetic Data
• Title（参考訳）: モデル崩壊の防止:合成データを用いたトレーニングのダイナミクスに関するフィッシャー・ラオの視点から
• Abstract要約: LLM(Large Language Models)は、合成データを用いて日常的に訓練される。 合成データと新鮮な人間のデータの混合に関するトレーニングは論理的な対策であり、モデル崩壊を防ぐことができる。 我々は,モデル崩壊防止に必要な人的データの最小値について,厳密な理論的保証を確立する。
• 参考スコア（独自算出の注目度）: 3.785693142241134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are now routinely trained using synthetic data, since high-quality human data has been exhausted by the ever increasing needs of larger and larger models. However, recursive training on synthetic data frequently induces model collapse, a degenerative feedback loop where models progressively forget the true underlying data distribution. Training on a mixture of synthetic and fresh human data is a logical countermeasure and can prevent model collapse. However, it is an open question as to what is the exact minimum required ratio of human-to-synthetic data to maintain training stability. In this paper, we establish rigorous theoretical guarantees on the minimum rate of human data required to prevent model collapse. Although previous work established a formal lower bound for this ratio, such bound can be vacuous for very high dimensions, as the analysis relies on the usual Euclidean metric in R^n and is not adapted to the space of categorical probability distributions. Instead, in this paper we explicitly leverage the information-geometric structure of the probability simplex by analyzing the dynamics of the process under the Fisher-Rao metric. We derive quantitative contraction and invariance bounds that are stable and do not become trivial as the dimensions increase. Thus, we show that the effective required data ratio to prevent model collapse is different than previously implied.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、より大規模で大規模なモデルのニーズの増大により、高品質な人的データが枯渇しているため、日常的に合成データを使って訓練されている。 しかし、合成データに対する再帰的トレーニングは、モデルが真の基盤となるデータ分布を徐々に忘れていく退化フィードバックループであるモデル崩壊を頻繁に引き起こす。 合成データと新鮮な人間のデータの混合に関するトレーニングは論理的な対策であり、モデル崩壊を防ぐことができる。 しかし、トレーニングの安定性を維持するために、人間と合成データの必要最低限の比率が何であるかは、明らかな疑問である。 本稿では,モデル崩壊防止に必要な人的データの最小値について,厳密な理論的保証を確立する。 以前の研究は、この比の形式的な下界を確立したが、解析は通常の R^n のユークリッド計量に依存しており、圏的確率分布の空間に適応しないため、非常に高次元においてそのような境界は空である。 そこで本論文では,フィッシャー・ラオ計量の下でのプロセスのダイナミクスを解析することにより,確率単純体の情報幾何学的構造を明示的に活用する。 我々は、次元が増加するにつれて、安定で自明になることのない量的収縮と不変境界を導出する。 そこで本研究では, モデル崩壊防止に有効なデータ比が従来と異なることを示す。

関連論文リスト

• Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence [31.751930228965467]
  モデル崩壊を避けるため, この合成再訓練プロセスの修正方法について検討する。 我々の重要な発見は、外部の合成データ検証器を通じて情報を注入することによって、合成再訓練がモデル崩壊を起こさないことである。
  論文  参考訳（メタデータ） (2025-10-18T22:39:39Z)
• When Models Don't Collapse: On the Consistency of Iterative MLE [26.518651842868135]
  自然条件下での最大誤差推定(MLE)のためのモデル崩壊について検討した。 実データの一部が消えても崩壊は避けられることを示す非漸近境界を確立する。 MLE整合性以外にもいくつかの仮定(MLE整合性)が本当に必要であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T08:50:46Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification [11.6055501181235]
  モデル崩壊防止のための合成データに対する検証手法について検討する。 検証器は、たとえ不完全なものであっても、モデル崩壊を防ぐために実際に活用できることが示される。
  論文  参考訳（メタデータ） (2024-06-11T17:46:16Z)
• How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
  モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。 合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。 モデル崩壊を回避できる合成データの最大量を推定する。
  論文  参考訳（メタデータ） (2024-04-07T22:15:13Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。