論文の概要: When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop

• arxiv url: http://arxiv.org/abs/2605.29267v1
• Date: Thu, 28 May 2026 02:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.596337
• Title: When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop
• Title（参考訳）: ヒューマンキュレーションバックファイアの時と方法:マルチモデル自己消費ループ下での選好アライメント
• Authors: Yang Zhang, Xiukun Wei, Xueru Zhang,
• Abstract要約: 自己消費トレーニングは、モデルの崩壊、ばらつき、バイアス増幅につながる可能性がある。 近年の研究では、ヒトのキュレーションをループに組み込むことで、人間の行動に対する自己消費モデルを実現することが示されている。 本稿では,多モデル体制における自己消費訓練について考察する。
• 参考スコア（独自算出の注目度）: 13.054822893327058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are increasingly trained on synthetic data generated by prior model iterations rather than exclusively on real data. This self-consuming training paradigm can lead to model collapse, divergence, or bias amplification. Recent work (Ferbach et al., 2024) shows that incorporating human curation into the loop can steer a self-consuming model toward human-aligned behavior, but these analyses focus on a single, isolated model that solely consumes its own outputs. In practice, however, models often interact and train on input-output pairs produced by other models. This paper studies self-consuming training in the multi-model regime. We first formalize a framework for interacting self-consuming models and characterize when the resulting dynamical system converges to a stable point. We then examine how human curation of one model affects its own alignment (self-influence) and how such effects propagate to other models (cross-influence). Unlike isolated settings where human curation always enhances model alignment, we show that cross-model interactions can dampen or even invert this effect, ultimately degrading long-term alignment.
• Abstract（参考訳）: ファンデーションモデルは、実際のデータにのみ依存するのではなく、事前のモデルイテレーションによって生成された合成データに基づいて、ますます訓練されている。 この自己消費トレーニングパラダイムは、モデル崩壊、ばらつき、バイアス増幅につながる可能性がある。 最近の研究 (Ferbach et al , 2024) は、ヒトのキュレーションをループに組み込むことで、人間の協調行動に向けて自己消費モデルを操ることができることを示しているが、これらの分析は、自身のアウトプットのみを消費する単一の独立したモデルに焦点を当てている。 しかし実際には、モデルが他のモデルによって生成された入出力ペアと相互作用し、訓練することが多い。 本稿では,多モデル体制における自己消費訓練について考察する。 まず、自己消費モデルと相互作用する枠組みを定式化し、結果の力学系が安定点に収束すると特徴付ける。 次に、あるモデルのヒトのキュレーションが自身のアライメント(自己影響)にどのように影響するか、そしてその影響が他のモデル(相互影響)にどのように伝播するかを検討する。 人間のキュレーションがモデルアライメントを常に強化する分離された設定とは異なり、モデル間の相互作用は、この効果を弱めたり、逆にしたりすることができ、最終的には長期的なアライメントを低下させる。

関連論文リスト

• When Does Model Collapse Occur in Structured Interactive Learning? [9.385946237424612]
  対話型学習環境における一般的な相互作用パターンを用いた生成モデルの性能について検討する。 モデル崩壊の発生は相互作用グラフのトポロジーに大きく依存することを示す。
  論文  参考訳（メタデータ） (2026-05-19T17:41:09Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Ablation Based Counterfactuals [7.481286710933861]
  ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。 拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。 次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
  論文  参考訳（メタデータ） (2024-06-12T06:22:51Z)
• How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
  モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。 合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。 モデル崩壊を回避できる合成データの最大量を推定する。
  論文  参考訳（メタデータ） (2024-04-07T22:15:13Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。