Fugu-MT 論文翻訳(概要): Self-Consuming Generative Models with Co-Evolving Human Preferences

論文の概要: Self-Consuming Generative Models with Co-Evolving Human Preferences

arxiv url: http://arxiv.org/abs/2610.09415v1
Date: Wed, 07 Oct 2026 04:18:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:22.71478
Title: Self-Consuming Generative Models with Co-Evolving Human Preferences
Title（参考訳）: 共進化型人間の嗜好を考慮した自己消費生成モデル
Abstract要約: トレーニングが完全にユーザキュレートされた合成データに依存している場合、反復的キュレーションは初期バイアスを増幅する。対照的に、十分に大きな速度でトレーニングに参照データを注入することは、ダイナミクスを根本的に変える。本稿では,結合系を平衡方向に操るために,参照分布とその混合重量を協調的に選択する効率的なアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 12.892560018998767
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative models are increasingly trained in self-consuming iterative loops, where users curate preferred samples from model-generated candidates and the curated samples are used to train future generations of the model. Prior work has largely assumed fixed user preferences, but in practice exposure to model outputs gradually reshapes what users perceive as desirable, creating a feedback loop in which model distributions and user preferences co-evolve. We take a first step toward understanding the long-term behavior of such coupled dynamics. We show that when training relies entirely on user-curated synthetic data, iterative curation amplifies initial biases and drives the system toward one of multiple singleton equilibria in which the instance holding an initial advantage eventually dominates. In contrast, injecting reference data into training at a sufficiently large rate fundamentally changes the dynamics and yields a unique globally attracting equilibrium. Building on this insight, we study how reference-data injection can be used to control long-term outcomes, and propose an efficient algorithm that jointly selects a reference distribution and its mixing weight to steer the coupled system toward equilibria that preserve desired attributes while minimizing data collection costs.
Abstract（参考訳）: 生成モデルは、ユーザがモデル生成候補から好むサンプルをキュレートし、キュレートされたサンプルを使用して、将来の世代のモデルのトレーニングを行う、自己消費反復ループにおいて、ますます訓練されている。従来の作業は、主に固定されたユーザの好みを前提としていたが、実際には、モデルアウトプットへの露出は、ユーザーが望ましいと考えるものを徐々に再認識し、モデル配布とユーザー好みが共進化するフィードバックループを作成する。このような結合力学の長期的挙動を理解するための第一歩を踏み出す。トレーニングが完全にユーザキュレートされた合成データに依存している場合、反復的キュレーションは初期バイアスを増幅し、初期優位を持つインスタンスが最終的に支配する複数のシングルトン平衡の1つに向かってシステムを駆動することを示す。対照的に、十分に大きな速度でトレーニングに参照データを注入すると、力学が根本的に変化し、ユニークなグローバルな平衡が生じる。そこで本研究では,データ収集コストを最小化しながら,参照分布と混合重量を協調的に選択し,所望の属性を保存した平衡に制御する効率的なアルゴリズムを提案する。

関連論文リスト

When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop [13.054822893327058]
自己消費トレーニングは、モデルの崩壊、ばらつき、バイアス増幅につながる可能性がある。近年の研究では、ヒトのキュレーションをループに組み込むことで、人間の行動に対する自己消費モデルを実現することが示されている。本稿では,多モデル体制における自己消費訓練について考察する。
論文参考訳（メタデータ） (2026-05-28T02:36:57Z)
SAIL: Self-Amplified Iterative Learning for Diffusion Model Alignment with Minimal Human Feedback [19.637094881784634]
textbfSAIL (textbfSelf-textbfAmplified textbfIterative textbfLearning) を提案する。
論文参考訳（メタデータ） (2026-02-05T06:58:38Z)
Observations and Remedies for Large Language Model Bias in Self-Consuming Performative Loop [17.229330734667474]
textbfSelf-textbfConsuming textbfPerformative textbfLoop。本研究では, 動的反復学習過程における生成バイアスにおける合成データの役割について検討した。
論文参考訳（メタデータ） (2026-01-08T18:08:15Z)
Heterogeneous Self-Supervised Acoustic Pre-Training with Local Constraints [64.15709757611369]
異種データを扱うための自己教師付き事前学習手法を提案する。提案手法は、下流の教師付き微調整タスクに対する自己教師付き事前訓練モデルの適応性を大幅に向上させることができる。
論文参考訳（メタデータ） (2025-08-27T15:48:50Z)
Preference Trajectory Modeling via Flow Matching for Sequential Recommendation [50.077447974294586]
シーケンスレコメンデーションは、履歴的なインタラクションシーケンスに基づいて、各ユーザの次の項目を予測する。 FlowRecはシンプルだが効果的なシーケンシャルレコメンデーションフレームワークである。我々は,ガウス雑音に代えてパーソナライズされた行動に基づく事前分布を構築し,ユーザの嗜好軌跡をモデル化するためのベクトル場を学習する。
論文参考訳（メタデータ） (2025-08-25T02:55:42Z)
Self-Consuming Generative Models with Adversarially Curated Data [7.535438563518571]
本研究では, 自己消費再学習ループにおいて, ノイズや逆向きにキュレートされたデータを用いて生成モデルがどのように進化するかを考察する。我々は、プラットフォームが悪質なユーザーを雇い、実際のユーザーの好みからライバルのモデルを誤認識させるような、競合する敵のシナリオに対する攻撃アルゴリズムを設計する。
論文参考訳（メタデータ） (2025-05-14T19:54:55Z)
Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-11T23:02:26Z)
Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
論文参考訳（メタデータ） (2024-06-12T21:28:28Z)
Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文参考訳（メタデータ） (2024-02-19T02:08:09Z)
Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文参考訳（メタデータ） (2024-01-17T07:58:18Z)
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。