論文の概要: Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

• arxiv url: http://arxiv.org/abs/2605.07724v1
• Date: Fri, 08 May 2026 13:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.071456
• Title: Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences
• Title（参考訳）: 計算済み合成データは崩壊する必要がない:多元論的選好による生成的再学習の理論的研究
• Authors: Ali Falahati, Mohammad Mohammadi Amiri, Kate Larson, Lukasz Golab,
• Abstract要約: 生成モデルの再帰的再訓練は、重要な表現問題を引き起こす。 複数の報酬関数に基づいたキュレーションにより崩壊を緩和できることを示す。
• 参考スコア（独自算出の注目度）: 13.835275211048113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive retraining of generative models poses a critical representation challenge: when synthetic outputs are curated based on a fixed reward signal, the model tends to collapse onto a narrow set of outputs that over-optimize that objective. Prior work suggests that such collapse is unavoidable without adding real data into the mix. We revisit this conclusion from an alignment perspective and show that collapse can be mitigated through curation based on multiple reward functions. We formalize the dynamics of recursive training under heterogeneous preferences and prove that, under certain conditions, the model converges to a stable distribution that allocates probability mass across competing high-reward regions. The limiting distribution preserves diversity and provably satisfies a weighted Nash bargaining solution, offering a formal interpretation of value aggregation in synthetic retraining loops.
• Abstract（参考訳）: 合成出力が固定された報酬信号に基づいてキュレートされると、モデルはその目的を過度に最適化する狭い出力セットに崩壊する傾向にある。 以前の研究は、この崩壊は、ミックスに実際のデータを追加することなく避けられないことを示唆していた。 我々は、この結論をアライメントの観点から再考し、複数の報酬関数に基づいたキュレーションによって崩壊を緩和できることを示す。 不均一な選好の下で再帰学習の力学を定式化し、ある条件下では、モデルが安定分布に収束し、競合する高次領域にわたって確率質量を割り当てることを示す。 制限分布は多様性を保ち、重み付けされたナッシュ交渉解を確実に満足させ、合成再学習ループにおける値集約の形式的解釈を提供する。

関連論文リスト

• Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting [6.369253528507392]
  反復的な自己学習は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 繰り返しの予測リスクと有効雑音に対する決定論的等価再帰を導出する。
  論文  参考訳（メタデータ） (2026-02-15T07:28:12Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis [0.01269104766024433]
  我々は,大規模言語モデル(LLM)における自己学習と生成AIを離散時間力学系として定式化する。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 外部グラウンドの損失がモデルの真理表現をランダムウォークとして漂流させる変数増幅の2つの基本的障害モードを導出する。
  論文  参考訳（メタデータ） (2026-01-05T19:50:49Z)
• Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse [3.533187668612022]
  本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。 我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
  論文  参考訳（メタデータ） (2025-12-16T19:50:03Z)
• Latent Iterative Refinement Flow: A Geometric-Constrained Approach for Few-Shot Generation [5.062604189239418]
  少ショット生成に対する新しいアプローチであるLIRF(Latent Iterative Refinement Flow)を導入する。 LIRFは,新しいtextbfmanifold保存損失をトレーニングしたオートエンコーダを用いて,安定な潜伏空間を確立する。 このサイクルの中で、候補サンプルは幾何的テクスチャ補正演算子によって洗練される。
  論文  参考訳（メタデータ） (2025-09-24T08:57:21Z)
• How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
  モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。 合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。 モデル崩壊を回避できる合成データの最大量を推定する。
  論文  参考訳（メタデータ） (2024-04-07T22:15:13Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。