論文の概要: Convergence and Stability Analysis of Self-Consuming Generative Models with Heterogeneous Human Curation
- arxiv url: http://arxiv.org/abs/2511.09002v1
- Date: Thu, 13 Nov 2025 01:25:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-13 22:34:54.351085
- Title: Convergence and Stability Analysis of Self-Consuming Generative Models with Heterogeneous Human Curation
- Title(参考訳): 不均一な人為的キュレーションを伴う自己推定生成モデルの収束と安定性解析
- Authors: Hongru Zhao, Jinwen Fu, Tuan Pham,
- Abstract要約: 不均一な嗜好を持つ自己消費生成モデルについて検討する。
このモデルは、実データとその前回の合成出力を用いて、ラウンドごとに再訓練される。
- 参考スコア(独自算出の注目度): 4.3029758676118055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-consuming generative models have received significant attention over the last few years. In this paper, we study a self-consuming generative model with heterogeneous preferences that is a generalization of the model in Ferbach et al. (2024). The model is retrained round by round using real data and its previous-round synthetic outputs. The asymptotic behavior of the retraining dynamics is investigated across four regimes using different techniques including the nonlinear Perron--Frobenius theory. Our analyses improve upon that of Ferbach et al. (2024) and provide convergence results in settings where the well-known Banach contraction mapping arguments do not apply. Stability and non-stability results regarding the retraining dynamics are also given.
- Abstract(参考訳): 自己消費型生成モデルはここ数年で大きな注目を集めている。
本稿では,Ferbach et al (2024) におけるモデル一般化である不均一な選好を持つ自己消費生成モデルについて検討する。
このモデルは、実データとその前回の合成出力を用いて、ラウンドごとに再訓練される。
再学習力学の漸近的挙動は、非線形ペロン-フロベニウス理論を含む異なる手法を用いて4つのレジームで研究される。
解析はFerbach et al (2024)により改善され、よく知られたバナッハ縮約写像の議論が適用されないような環境で収束結果が得られる。
また、再学習力学に関する安定性と非安定性の結果も与えられる。
関連論文リスト
- Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence [31.751930228965467]
モデル崩壊を避けるため, この合成再訓練プロセスの修正方法について検討する。
我々の重要な発見は、外部の合成データ検証器を通じて情報を注入することによって、合成再訓練がモデル崩壊を起こさないことである。
論文 参考訳(メタデータ) (2025-10-18T22:39:39Z) - A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。
モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。
一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
論文 参考訳(メタデータ) (2025-02-26T06:18:13Z) - Transition of $α$-mixing in Random Iterations with Applications in Queuing Theory [0.0]
本研究では, 混合特性を外因性回帰器から結合論による応答へ伝達することを示す。
また,非定常環境下においても,ドリフトおよびマイノライズ条件のランダム環境におけるマルコフ連鎖について検討した。
論文 参考訳(メタデータ) (2024-10-07T14:13:37Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Understanding Pathologies of Deep Heteroskedastic Regression [25.509884677111344]
ヘテロスケダスティックモデルは各データポイントの平均ノイズと残留ノイズの両方を予測する。
極端に言えば、これらのモデルはすべてのトレーニングデータを完璧に適合させ、残音を完全に排除する。
他方では、一定で非形式的な平均を予測しながら残音を過度に補正する。
中間地盤の欠如を観察し, モデル正則化強度に依存する相転移を示唆した。
論文 参考訳(メタデータ) (2023-06-29T06:31:27Z) - Bayesian Additive Main Effects and Multiplicative Interaction Models using Tensor Regression for Multi-environmental Trials [0.0]
本稿では,複数の因子が表現型予測に与える影響を考慮したベイズテンソル回帰モデルを提案する。
我々は、モデルのパラメータ間で生じる可能性のある識別可能性の問題を解決するための、事前分布のセットを採用する。
また、線形予測器にどの相互作用が関係するかを識別するスパイク・アンド・スラブ構造も組み込んだ。
論文 参考訳(メタデータ) (2023-01-09T19:54:50Z) - Causal Inference via Nonlinear Variable Decorrelation for Healthcare
Applications [60.26261850082012]
線形および非線形共振の両方を扱う可変デコリレーション正規化器を用いた新しい手法を提案する。
我々は、モデル解釈可能性を高めるために、元の特徴に基づくアソシエーションルールマイニングを用いた新しい表現として、アソシエーションルールを採用する。
論文 参考訳(メタデータ) (2022-09-29T17:44:14Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳(メタデータ) (2021-09-06T14:52:58Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。