論文の概要: When Does Model Collapse Occur in Structured Interactive Learning?

• arxiv url: http://arxiv.org/abs/2605.20151v1
• Date: Tue, 19 May 2026 17:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.562945
• Title: When Does Model Collapse Occur in Structured Interactive Learning?
• Title（参考訳）: 構造化対話型学習におけるモデル崩壊はいつ起こるか?
• Authors: Yuchen Wu, Kangjie Zhou, Weijie Su,
• Abstract要約: 対話型学習環境における一般的な相互作用パターンを用いた生成モデルの性能について検討する。 モデル崩壊の発生は相互作用グラフのトポロジーに大きく依存することを示す。
• 参考スコア（独自算出の注目度）: 9.385946237424612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of generative artificial intelligence has given rise to an interactive learning environment, where model parameters are continuously updated using not only data generated by natural processes, but also synthetic outputs produced by other models. This paradigm introduces two major challenges: (1) training data are no longer drawn exclusively from the target population, undermining a core assumption of classical statistical learning, and (2) model training processes become inherently correlated, as models interact with one another through repeated exposure to each other's synthetic outputs in a potentially complex manner. Establishing reliable statistical inference in such structured interactive learning environments therefore remains an important open problem. In particular, there is growing concern about model collapse, a phenomenon in which the performance of generative models progressively degrades as they are trained on synthetic data produced by earlier model generations. Prior work on model collapse primarily focuses on a single model trained on its own output, failing to capture model performance in multi-model interactive settings. In this work, we fill this gap by investigating the performance of generative models in an interactive learning environment with general interaction patterns. In particular, we formalize model interactions using directed graphs and show that the occurrence of model collapse depends critically on the topology of the interaction graph. We further derive an explicit necessary and sufficient condition characterizing when model collapse occurs, and establish finite-sample results for linear regression and asymptotic guarantees for general M-estimators. We support our theoretical findings through extensive numerical experiments.
• Abstract（参考訳）: 生成人工知能の普及は、自然なプロセスによって生成されたデータだけでなく、他のモデルによって生成された合成出力を使ってモデルパラメータを継続的に更新するインタラクティブな学習環境を生み出している。 このパラダイムでは,(1) 従来の統計学習の中核的な仮定を損なうことなく,(1) 対象の個体群からのみ学習データを引き出すのではなく,(2) モデル学習プロセスは,モデルが相互に相互に相互作用し,潜在的に複雑な方法で合成アウトプットに繰り返し露出することによって,本質的に相関する。 このような構造化された対話型学習環境における信頼性のある統計的推測を確立することは、依然として重要なオープンな問題である。 特に, モデル崩壊に対する懸念が高まっており, 生成モデルの性能は, 初期のモデル世代が生成した合成データに基づいて, 徐々に低下していく。 モデル崩壊に関する以前の研究は、主に独自の出力で訓練された単一のモデルに焦点を当てており、マルチモデルインタラクティブな設定でモデルパフォーマンスをキャプチャできなかった。 本研究では,対話型学習環境における生成モデルの性能を汎用的な相互作用パターンで調べることで,このギャップを埋める。 特に、有向グラフを用いたモデル相互作用を形式化し、モデル崩壊の発生が相互作用グラフのトポロジーに大きく依存していることを示す。 さらに,モデル崩壊時の特徴付けに必要かつ十分な条件を導出し,一般のM-推定器に対する線形回帰と漸近的保証のための有限サンプル結果を確立する。 我々は、広範囲な数値実験を通じて理論的な結果を支持する。

関連論文リスト

• How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
  モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。 合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。 モデル崩壊を回避できる合成データの最大量を推定する。
  論文  参考訳（メタデータ） (2024-04-07T22:15:13Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• From Identifiable Causal Representations to Controllable Counterfactual Generation: A Survey on Causal Generative Modeling [17.074858228123706]
  基本的な理論、方法論、欠点、データセット、メトリクスに重点を置いています。 フェアネス、プライバシ、アウト・オブ・ディストリビューションの一般化、精密医療、生物科学における因果生成モデルの応用について述べる。
  論文  参考訳（メタデータ） (2023-10-17T05:45:32Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• De-Biasing Generative Models using Counterfactual Methods [0.0]
  我々はCausal Counterfactual Generative Model (CCGM) と呼ばれる新しいデコーダベースのフレームワークを提案する。 提案手法は,因果関係の忠実さを強調するために,因果関係の潜在空間VAEモデルと特定の修正を加えたものである。 因果的学習と符号化/復号化が因果的介入の質をいかに高めるかを検討する。
  論文  参考訳（メタデータ） (2022-07-04T16:53:20Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Causal Inference with Deep Causal Graphs [0.0]
  パラメトリック因果モデリング技術は、カウンターファクト推定の機能を提供することはめったにない。 Deep Causal Graphsは、因果分布をモデル化するニューラルネットワークに必要な機能の抽象的な仕様である。 複雑な相互作用をモデル化する上で,その表現力を示し,機械学習の説明可能性と公正性を示す。
  論文  参考訳（メタデータ） (2020-06-15T13:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。