論文の概要: When Do Gaussian Priors Fail? A Latent Geometry Investigation of RL Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.28849v1
- Date: Tue, 20 Oct 2026 19:22:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.130945
- Title: When Do Gaussian Priors Fail? A Latent Geometry Investigation of RL Fine-Tuning
- Title（参考訳）: ガウス派はいつ失敗するのか? RLファインチューニングの潜時幾何学的検討
- Abstract要約: 我々は,非ガウス前処理が,潜在幾何が重なり合いに陥り,タスクがカバレッジに敏感な場合に,正確に必要であることを示す。
機械チェック理論スケルトンはKL価格構造をサポートする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent diffusion models almost universally place a Gaussian prior on the VAE latent space. For base generation this default is unproblematic; under reinforcement-learning fine-tuning, however, it carries a structural limitation. The standard VAE's KL term does not merely ignore mode structure - it actively taxes separation and tightness. When data are multimodal, the ELBO optimum compresses distinct modes into an overlapping latent. RL fine-tuning amplifies this overlap: the score network is under-resolved on the saddle region between modes, dynamic-to-variational amplification rises sharply, and the collapse boundary beta_c is pushed far above its variational scale. On the real alanine-dipeptide Boltzmann distribution, a Gaussian-prior VAE collapses at beta_c = 0.224 while a mode-tracked Gaussian-mixture prior collapses at 0.00316, a 71x gap from the same pipeline. We trace this gap to a single geometric mediator, d_min/(2 sigma_0), and verify the causal chain through controlled interventions: moving geometry at fixed prior, and switching prior at matched geometry (full mediation; prior-label coefficient 0.995x, 95% CI [0.79, 1.25]). A three-source decomposition localises the amplification to the learned policy (zero ODE-solver contribution, bounded anchor mismatch); the coverage plateau is an unconditional benefit of mode-separating priors that no amount of RL capacity recovers. The remedy is conditional: a non-Gaussian prior is necessary precisely when the latent geometry would fall into overlap and the task is coverage-sensitive. A machine-checked theory skeleton supports the KL pricing structure - a divergent compactness tax under a Gaussian prior versus a finite assignment fee under a mixture - and the position-versus-plateau distinction delimits what is finite-resource from what requires changing the prior.
- Abstract（参考訳）: ラテント拡散モデルは、ほぼ普遍的に、VAEラテント空間にガウス空間を置く。
ベースジェネレーションでは、このデフォルトは非プロブレマティックであり、強化学習の微調整では構造的な制限が課される。
標準的なVAEのKLという用語は、単にモード構造を無視するだけでなく、分離と厳密さを積極的に課税する。
データがマルチモーダルである場合、ELBO最適化は異なるモードを重なり合うラテントに圧縮する。
スコアネットワークはモード間のサドル領域でアンダーリゾルされ、動的-変分増幅は急激に上昇し、崩壊境界β_cはその変動スケールよりはるかに高く押される。
実際のアラニン-ジペプチドボルツマン分布では、ガウス-プレナーVAEはbeta_c = 0.224で崩壊し、モード追跡したガウス-ミキチャーは0.00316で崩壊する。
このギャップを単一の幾何学的メディエータ d_min/(2 sigma_0) にトレースし、制御された介入を通して因果連鎖を検証する。
3ソース分解は、学習されたポリシー(ゼロODE-ゾルバ寄与、有界アンカーミスマッチ)に増幅をローカライズする。
非ガウス的前兆は、潜在幾何学が重複し、そのタスクがカバレッジに敏感なときに正確に必要である。
マシンチェックされた理論の骨格はKLの価格構造(ガウスの事前条件の下での発散したコンパクト性税と混合条件下での有限割当税)をサポートし、位置逆プラトーの区別は、事前の変更を必要とするものから有限割当を減らしている。
関連論文リスト
- Global Exponential Convergence of Two-Layer Linear Network Training [18.359948110720747]
我々は,スムーズなPolyak-Lojasiewicz予測器の損失で訓練された広帯域2層線形ネットワークに対して,リッチスケーリングの明示的な速度で大域指数(線形)収束を証明した。
論文 参考訳（メタデータ） (2026-10-07T03:13:18Z) - Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation [51.56484100374058]
我々は、ハードレイヤーワイドリプシッツ予算の下で近似を研究する。
構成条件下では、対応するレイヤエラーをキャンセルする必要はないことを示す。
クラスのすべての作用素に対して、安定した深さ-$L$タワーが存在し、累積誤差の定数分を実現できる。
論文 参考訳（メタデータ） (2026-09-14T20:17:04Z) - Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳（メタデータ） (2026-08-18T09:32:03Z) - A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning [12.805268849262243]
プレコンディショニング、運動量、重量の減衰(アダムとアダムW)を組み合わせた適応エンジンは、ポリャク=ルパート平均化の下で、1パス推論の候補エンジンである。
我々は、(局所安定化の下で)正のドリフト安定性、非自律性ポリアーク・ラッパートCLT、および射影恒等性を証明した。
SA-Adam (sub-linearly vanishing momentum gain, $in gradient,1)$;sub-linear regime is essential, not constant-$$ deployed Adam。
論文 参考訳（メタデータ） (2026-06-15T23:43:49Z) - How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs [48.096969031315744]
以前の研究により、RBFカーネルと特定の帯域幅$r$に対して、前者は限界で縮退することがわかった。
しきい値以下$r$の場合、r_c(d)$ は制限分布 $_barZ$ に収束する。
論文 参考訳（メタデータ） (2026-06-06T15:12:43Z) - Measuring the Symmetry--Data Exchange Rate [0.2538209532048867]
同一の軌道サイズと一致した計算値を持つ間違った群制御は制約を伴わないよりも悪いことを示す。
相対交換率beta_diff = 1.28は、理論ブートストラップ1.0と符号と桁違いに一致している。
手法的貢献 -- 共有拡散の欠点をキャンセルする相対レート推定器、間違ったグループ制御、および予め特定された失敗分類 - は、強度をパラメータ化できる帰納バイアスに転送される。
論文 参考訳（メタデータ） (2026-05-31T08:17:40Z) - Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。
この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
論文 参考訳（メタデータ） (2026-03-16T16:18:18Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise [17.899443444882888]
不等式事前条件勾配降下(SPSGD)に対する最悪のケース複雑性理論を開発する。
正規化は問題パラメータが未知の場合には$mathcalO(T-fracp-13p-2)$,$mathcalO(T-fracp-12p)$で1次定常点への収束を保証する。
対照的に、プリコンディショナーと勾配推定との統計的依存により、クリッピングが最悪の場合に収束しないことが証明される。
論文 参考訳（メタデータ） (2026-02-13T19:29:17Z) - The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。
本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
論文 参考訳（メタデータ） (2022-02-11T15:59:01Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。