論文の概要: Optimal Stability of KL Divergence under Gaussian Perturbations

• arxiv url: http://arxiv.org/abs/2604.11026v3
• Date: Thu, 16 Apr 2026 15:03:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 16:09:14.153417
• Title: Optimal Stability of KL Divergence under Gaussian Perturbations
• Title（参考訳）: ガウス摂動下におけるKL分散の最適安定性
• Authors: Jialu Pan, Yufeng Zhang, Nan Hu, Zhenbang Chen, Ji Wang, Keqin Li,
• Abstract要約: KL の発散に対する既存の緩和三角形の不等式は、すべての関連する分布がガウス分布であるという仮定に批判的に依存する。 穏やかなモーメント条件下で任意の分布とガウス族の間の鋭い安定性を確立する。 この$sqrt$レートは一般にガウス族の中でも最適であることを示す。
• 参考スコア（独自算出の注目度）: 30.190488055856207
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the problem of characterizing the stability of Kullback-Leibler (KL) divergence under Gaussian perturbations beyond Gaussian families. Existing relaxed triangle inequalities for KL divergence critically rely on the assumption that all involved distributions are Gaussian, which limits their applicability in modern applications such as out-of-distribution (OOD) detection with flow-based generative models. In this paper, we remove this restriction by establishing a sharp stability bound between an arbitrary distribution and Gaussian families under mild moment conditions. Specifically, let $P$ be a distribution with finite second moment, and let $\mathcal{N}_1$ and $\mathcal{N}_2$ be multivariate Gaussian distributions. We show that if $KL(P||\mathcal{N}_1)$ is large and $KL(\mathcal{N}_1||\mathcal{N}_2)$ is at most $ε$, then $KL(P||\mathcal{N}_2) \ge KL(P||\mathcal{N}_1) - O(\sqrtε)$. Moreover, we prove that this $\sqrtε$ rate is optimal in general, even within the Gaussian family. This result reveals an intrinsic stability property of KL divergence under Gaussian perturbations, extending classical Gaussian-only relaxed triangle inequalities to general distributions. The result is non-trivial due to the asymmetry of KL divergence and the absence of a triangle inequality in general probability spaces. As an application, we provide a rigorous foundation for KL-based OOD analysis in flow-based models, removing strong Gaussian assumptions used in prior work. More broadly, our result enables KL-based reasoning in non-Gaussian settings arising in deep learning and reinforcement learning.
• Abstract（参考訳）: 本研究では,ガウス系以外のガウス系摂動下でのクルバック・リーブラー(KL)分岐の安定性を特徴付ける問題について検討する。 既存のKL分散の緩やかな三角形の不等式は、すべての分布がガウス的であるという仮定に批判的であり、フローベース生成モデルによるアウト・オブ・ディストリビューション(OOD)検出のような近代的応用におけるそれらの適用性を制限している。 本稿では、任意の分布とガウス族の間の急激な安定性を穏やかなモーメント条件下で確立することにより、この制限を除去する。 具体的には、$P$ を有限第二モーメントの分布とし、$\mathcal{N}_1$ と $\mathcal{N}_2$ を多変量ガウス分布とする。 KL(P||\mathcal{N}_1)$が大きければ、$KL(\mathcal{N}_1||\mathcal{N}_2)$が少なくとも$ε$であれば、$KL(P||\mathcal{N}_2) \ge KL(P||\mathcal{N}_1) - O(\sqrtε)$である。 さらに、この$\sqrtε$レートがガウス族の中でも一般に最適であることが証明される。 この結果から、ガウス摂動の下でのKL発散の本質的な安定性が明らかとなり、古典ガウスのみの緩和三角形の不等式は一般分布に拡張される。 KL の発散の非対称性と一般確率空間における三角形の不等式がないため、結果は非自明である。 応用として、フローベースモデルにおけるKLに基づくOOD分析の厳密な基礎を提供し、事前の作業で使用される強いガウス的仮定を除去する。 より広範に、この結果は、深い学習と強化学習に起因する非ガウス的セッティングにおけるKLに基づく推論を可能にする。

関連論文リスト

• Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence [50.719298242863744]
  Underdamped Langevin dynamics (ULD) は Gibbs 分布の$propto e-V$ に広く使われているサンプルである。 離散化LDDにおける最初の次元自由なKL分散境界を証明した。
  論文  参考訳（メタデータ） (2026-03-02T22:14:38Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds [9.739744677824286]
  定段近似(SA)は計算効率の学習に広く用いられている。 以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。 この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
  論文  参考訳（メタデータ） (2026-02-15T02:34:50Z)
• Relaxed Triangle Inequality for Kullback-Leibler Divergence Between Multivariate Gaussian Distributions [40.868754235067804]
  Kullback-Leibler (KL) の発散は適切な計量ではなく、三角形の不等式を満たすものではない。 KL(mathcalN1), MathcalN_3)$の上限と、上限が達成可能な条件を与える。
  論文  参考訳（メタデータ） (2026-01-31T09:28:44Z)
• Convergence Rates for Stochastic Approximation: Biased Noise with Unbounded Variance, and Applications [2.0584253077707477]
  目的関数 $J(cdot)$ の定常点を求めるグラディエント・Descent (SGD) 法の収束特性について検討した。 この結果は、すべての定常点が大域最小値である性質を持つ invex' 関数のクラスに適用できる。
  論文  参考訳（メタデータ） (2023-12-05T15:22:39Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
  非ガウス成分分析(NGCA)は分布学習問題である。 我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-12-16T18:38:02Z)
• Convergence of Random Reshuffling Under The Kurdyka-{\L}ojasiewicz Inequality [3.960041987749073]
  我々はクルディカ・ロジャシエヴィチ(KL)の不等式に基づくステップサイズを小さくした非輝化RRの収束解析を行う。 我々は、KL指数と好適に選択された減少ステップサイズに応じて、対応する収束率を導出する。 また、近位点法に対して同様の強い極限点収束結果を確立する。
  論文  参考訳（メタデータ） (2021-10-10T23:20:04Z)
• On the Properties of Kullback-Leibler Divergence Between Gaussians [22.274623046922628]
  Kullback-Leibler (KL) の発散は確率分布間の最も重要な発散測度の一つである。 本稿では,ガウシアン間のKL分散特性について検討する。
  論文  参考訳（メタデータ） (2021-02-10T15:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。