論文の概要: Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse

• arxiv url: http://arxiv.org/abs/2512.14879v1
• Date: Tue, 16 Dec 2025 19:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.77446
• Title: Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse
• Title（参考訳）: Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse
• Abstract要約: 本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。 我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
• 参考スコア（独自算出の注目度）: 3.533187668612022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-referential learning -- training a model on data it generated itself -- promises boundless scalability but chronically suffers from model collapse: language models degenerate into repetitive text, GANs drop modes, and reinforcement-learning policies over-exploit. Although practitioners employ ad~hoc fixes such as real-data mixing, entropy bonuses, knowledge distillation, or retrieval-augmented generation, a single principle that explains both the failure mode and the success of these fixes has remained elusive. We present Entropy-Reservoir Bregman Projection (ERBP), an information-geometric framework that unifies these phenomena. We model the closed loop as a stochastic Bregman projection sequence in distribution space. Without external coupling, finite-sample noise forces the system to project onto an ever-shrinking empirical support, causing exponential entropy decay and eventual collapse. Introducing an Entropy Reservoir -- a high-entropy distribution mixed into each projection -- injects a controllable entropy flux that provably stabilises the dynamics. Our theory yields (i) a necessary condition for collapse, (ii) a sufficient condition that guarantees a non-trivial entropy floor, and (iii) closed-form rates that depend only on sample size and the strong-convexity/Lipschitz constants of the Bregman generator. Experiments on large-language-model self-training, Soft Actor-Critic in reinforcement learning, and GAN optimisation validate our predictions and show that disparate stabilisation heuristics correspond to specific reservoir choices and coupling coefficients. ERBP thus transforms a collection of folk remedies into a single, quantitative design rule: monitor and budget your entropy flux.
• Abstract（参考訳）: 自己参照学習 -- 生成したデータに基づいてモデルをトレーニングする -- は、無限のスケーラビリティを約束するが、慢性的にモデル崩壊に苦しむ。 実践者は、実データミキシング、エントロピーボーナス、知識の蒸留、検索強化生成といったアドホックな修正を採用するが、失敗モードとこれらの修正の成功の両方を説明する単一の原則は、まだ解明されていない。 本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropy-Reservoir Bregman Projection (ERBP)を提案する。 閉ループを分布空間における確率的ブレグマン射影列としてモデル化する。 外部結合がなければ、有限サンプルノイズにより、システムは絶え間なく細くなっている経験的支持体に投射され、指数的エントロピー崩壊と最終的な崩壊を引き起こす。 それぞれのプロジェクションに混ざった高エントロピー分布であるエントロピー貯留層の導入は、制御可能なエントロピーフラックスを注入し、ダイナミクスを確実に安定化させる。 私たちの理論は 一 崩壊の必要条件 二 非自明なエントロピーの床を保証する十分な条件、及び 3) ブラグマン発生器の試料サイズと強凸/リプシッツ定数にのみ依存する閉形式速度。 大規模言語モデルの自己学習,強化学習におけるソフトアクター・クリティカル,およびGAN最適化の実験は,我々の予測を検証し,異なる安定化ヒューリスティックが特定の貯水池の選択と結合係数に対応することを示す。 ERBPは、民生療法のコレクションを、エントロピーフラックスの監視と予算という、単一の定量的デザインルールに変換する。

関連論文リスト

• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Human-Centered Learning Mechanics: A Dynamical Framework for Entropy-Regulated Representation Learning [1.1675763847424785]
  オープンかつ制御された学習システムのための動的・情報理論の枠組みを提案する。 中心となる考え方は、選択されたエントロピーサロゲートが非退化情報力を生成する場合にのみ、エントロピー正則化が有用であるということである。 制御された表現学習実験は、幾何エントロピーがソフトマックス正規化エントロピーよりも強くより安定した情報力をもたらすという仮説を支持する。
  論文  参考訳（メタデータ） (2026-05-21T18:16:39Z)
• Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization [53.75029276020459]
  本研究では,エントロピー変化への寄与に応じて,エントロピー増加とエントロピー減少の更新を再スケールする適応的エントロピーフローバランス機構を提案する。 6つの数学的推論ベンチマークの実験は、OPEFOがトレーニングと最終的なパフォーマンスを改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T04:08:17Z)
• PnP-Corrector: A Universal Correction Framework for Coupled Spatiotemporal Forecasting [62.22445401483844]
  既存の手法は複雑なエラーのボトルネックによって厳しく制約されている。 我々は-Cast-Corrector (Plug-and-Play Corrector)と呼ばれる普遍的なフレームワークを提案する。 本手法は,結合予測システムの長期安定性を著しく向上させる。
  論文  参考訳（メタデータ） (2026-05-09T13:12:33Z)
• Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences [13.835275211048113]
  生成モデルの再帰的再訓練は、重要な表現問題を引き起こす。 複数の報酬関数に基づいたキュレーションにより崩壊を緩和できることを示す。
  論文  参考訳（メタデータ） (2026-05-08T13:27:23Z)
• Emergence of Distortions in High-Dimensional Guided Diffusion Models [11.774563966512707]
  CFG誘導サンプリングと真の条件分布のミスマッチとして定義される生成歪みの現象を定式化する。 標準CFGスケジュールはばらつきの縮小を防ぐことができないことを示す。 本稿では,クラス分離性を維持しながら多様性の喪失を緩和する負の誘導窓を特徴とする理論的動機付け型指導スケジュールを提案する。
  論文  参考訳（メタデータ） (2026-01-31T13:19:45Z)
• Entropy Production in Machine Learning Under Fokker-Planck Probability Flow [0.0]
  非平衡コストダイナミクスに基づくエントロピーに基づく再学習フレームワークを提案する。 エントロピートリガーを用いたリトレーニングにより,高周波リトレーニングに匹敵する予測性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-02T04:01:57Z)
• Chaos, Entanglement and Measurement: Field-Theoretic Perspectives on Quantum Information Dynamics [0.0]
  I study scrambling and pseudorandomness in the Brownian Sachdev-Ye-Kitaev model。 弱測定SYKクラスターに対する場の理論を構築する。 測定専用SYKクラスタのための高次再正規化グループを開発した。
  論文  参考訳（メタデータ） (2025-12-11T10:04:30Z)
• On the Collapse of Generative Paths: A Criterion and Correction for Diffusion Steering [29.633206995806542]
  インタイムステアリングにより、事前トレーニングされた拡散/フローモデルを、再トレーニングせずに新しいタスクに適合させることができる。 この構造には批判的かつ以前は形式化されていなかった障害モード(Marginal Path Collapse)がある。 本稿では,Feynman-Kac ステアリングを時間変化指数に拡張する Adaptive path Correction with Exponents (ACE) を提案する。
  論文  参考訳（メタデータ） (2025-12-11T06:44:08Z)
• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models [77.55829017952728]
  EntPrunerは、拡散およびフローモデルのためのエントロピー誘導自動プログレッシブプルーニングフレームワークである。 DiTモデルとSiTモデルの実験はEntPrunerの有効性を示し、最大2.22$times$推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-11-26T07:20:48Z)
• A Free Probabilistic Framework for Denoising Diffusion Models: Entropy, Transport, and Reverse Processes [22.56299060022639]
  本稿では、自由エントロピーと自由フィッシャー情報の理論に基づく。 我々は拡散を定式化し、演算子値のダイナミクスによって支配される逆過程を定量化する。 結果として生じる力学は、非可換ワッサーシュタイン空間における勾配-フロー構造を持つ。
  論文  参考訳（メタデータ） (2025-10-26T18:03:54Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。