論文の概要: Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse

• arxiv url: http://arxiv.org/abs/2512.14879v1
• Date: Tue, 16 Dec 2025 19:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.77446
• Title: Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse
• Title（参考訳）: Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse
• Authors: Jingwei Chen,
• Abstract要約: 本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。 我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
• 参考スコア（独自算出の注目度）: 3.533187668612022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-referential learning -- training a model on data it generated itself -- promises boundless scalability but chronically suffers from model collapse: language models degenerate into repetitive text, GANs drop modes, and reinforcement-learning policies over-exploit. Although practitioners employ ad~hoc fixes such as real-data mixing, entropy bonuses, knowledge distillation, or retrieval-augmented generation, a single principle that explains both the failure mode and the success of these fixes has remained elusive. We present Entropy-Reservoir Bregman Projection (ERBP), an information-geometric framework that unifies these phenomena. We model the closed loop as a stochastic Bregman projection sequence in distribution space. Without external coupling, finite-sample noise forces the system to project onto an ever-shrinking empirical support, causing exponential entropy decay and eventual collapse. Introducing an Entropy Reservoir -- a high-entropy distribution mixed into each projection -- injects a controllable entropy flux that provably stabilises the dynamics. Our theory yields (i) a necessary condition for collapse, (ii) a sufficient condition that guarantees a non-trivial entropy floor, and (iii) closed-form rates that depend only on sample size and the strong-convexity/Lipschitz constants of the Bregman generator. Experiments on large-language-model self-training, Soft Actor-Critic in reinforcement learning, and GAN optimisation validate our predictions and show that disparate stabilisation heuristics correspond to specific reservoir choices and coupling coefficients. ERBP thus transforms a collection of folk remedies into a single, quantitative design rule: monitor and budget your entropy flux.
• Abstract（参考訳）: 自己参照学習 -- 生成したデータに基づいてモデルをトレーニングする -- は、無限のスケーラビリティを約束するが、慢性的にモデル崩壊に苦しむ。 実践者は、実データミキシング、エントロピーボーナス、知識の蒸留、検索強化生成といったアドホックな修正を採用するが、失敗モードとこれらの修正の成功の両方を説明する単一の原則は、まだ解明されていない。 本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropy-Reservoir Bregman Projection (ERBP)を提案する。 閉ループを分布空間における確率的ブレグマン射影列としてモデル化する。 外部結合がなければ、有限サンプルノイズにより、システムは絶え間なく細くなっている経験的支持体に投射され、指数的エントロピー崩壊と最終的な崩壊を引き起こす。 それぞれのプロジェクションに混ざった高エントロピー分布であるエントロピー貯留層の導入は、制御可能なエントロピーフラックスを注入し、ダイナミクスを確実に安定化させる。 私たちの理論は 一 崩壊の必要条件 二 非自明なエントロピーの床を保証する十分な条件、及び 3) ブラグマン発生器の試料サイズと強凸/リプシッツ定数にのみ依存する閉形式速度。 大規模言語モデルの自己学習,強化学習におけるソフトアクター・クリティカル,およびGAN最適化の実験は,我々の予測を検証し,異なる安定化ヒューリスティックが特定の貯水池の選択と結合係数に対応することを示す。 ERBPは、民生療法のコレクションを、エントロピーフラックスの監視と予算という、単一の定量的デザインルールに変換する。

関連論文リスト

• Chaos, Entanglement and Measurement: Field-Theoretic Perspectives on Quantum Information Dynamics [0.0]
  I study scrambling and pseudorandomness in the Brownian Sachdev-Ye-Kitaev model。 弱測定SYKクラスターに対する場の理論を構築する。 測定専用SYKクラスタのための高次再正規化グループを開発した。
  論文  参考訳（メタデータ） (2025-12-11T10:04:30Z)
• On the Collapse of Generative Paths: A Criterion and Correction for Diffusion Steering [29.633206995806542]
  インタイムステアリングにより、事前トレーニングされた拡散/フローモデルを、再トレーニングせずに新しいタスクに適合させることができる。 この構造には批判的かつ以前は形式化されていなかった障害モード(Marginal Path Collapse)がある。 本稿では,Feynman-Kac ステアリングを時間変化指数に拡張する Adaptive path Correction with Exponents (ACE) を提案する。
  論文  参考訳（メタデータ） (2025-12-11T06:44:08Z)
• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models [77.55829017952728]
  EntPrunerは、拡散およびフローモデルのためのエントロピー誘導自動プログレッシブプルーニングフレームワークである。 DiTモデルとSiTモデルの実験はEntPrunerの有効性を示し、最大2.22$times$推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-11-26T07:20:48Z)
• A Free Probabilistic Framework for Denoising Diffusion Models: Entropy, Transport, and Reverse Processes [22.56299060022639]
  本稿では、自由エントロピーと自由フィッシャー情報の理論に基づく。 我々は拡散を定式化し、演算子値のダイナミクスによって支配される逆過程を定量化する。 結果として生じる力学は、非可換ワッサーシュタイン空間における勾配-フロー構造を持つ。
  論文  参考訳（メタデータ） (2025-10-26T18:03:54Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。