論文の概要: The Bayesian Learning Rule Beyond KL Geometry

• arxiv url: http://arxiv.org/abs/2610.31308v1
• Date: Thu, 22 Oct 2026 14:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.39791
• Title: The Bayesian Learning Rule Beyond KL Geometry
• Title（参考訳）: KL幾何学を超えたベイズ学習規則
• Abstract要約: 混合空間ブレグマン(Bregman)やフェンシェル・ヤング(Fenchel-Young)の相違点のクラスに対して,付加的な情報幾何最適化アルゴリズムが導出可能であることを示す。 一般化されたBLRは、テキストがKLベースのBLRから派生できない新しいアルゴリズムをもたらす。
• 参考スコア（独自算出の注目度）: 2.8411923586195473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Bayesian learning rule (BLR) exploits the relation between Bayesian updating and the Kullback-Leibler divergence (KLD) to derive efficient additive updates for exponential family variational posteriors. The KL geometry is powerful but restrictive: combined with posterior families with parameter-dependent support it can lead to undefined objectives. We ask which non-KL geometries preserve the additive BLR computation. Previous works that use $f$-divergences suggest that this is only possible with the KLD. Here, we show that this is not true. We show that additive information-geometric optimization algorithms can be derived for the class of mixed-space Bregman or Fenchel-Young discrepancies. These discrepancies induce generalized maximum-entropy families, dual coordinates, and generalized-BLR canonical gradient updates, recovering the classical BLR. The generalized BLR leads to new algorithms that \textit{cannot} be derived from the KL-based BLR. For the Tsallis negentropy with quadratic statistics, the generalized BLR yields bounded-support and heavy-tailed $q$-Gaussian posteriors and an easy Newton-like implementation. Experiments up to CIFAR-100 illustrate controllable support and tail behavior and competitive performance.
• Abstract（参考訳）: ベイズ学習規則(BLR)はベイズ更新とクルバック・リーブラー分岐(KLD)の関係を利用して指数関数的な家族変動後続に対する効率的な付加的更新を導出する。 KL幾何学は強力だが制限的であり、パラメータ依存的なサポートを持つ後続の族と組み合わせることで、未定義の目的へと導くことができる。 我々は、どの非KL測地が加法的BLR計算を保存するかを問う。 以前の$f$-divergencesを使った作業は、KLDでのみ可能であることを示唆している。 ここでは、これは真実ではないことを示す。 混合空間ブレグマン(Bregman)やフェンシェル・ヤング(Fenchel-Young)の相違点のクラスに対して,付加的な情報幾何最適化アルゴリズムが導出可能であることを示す。 これらの不一致は、一般化された最大エントロピー族、双対座標、一般化されたBLR標準勾配の更新を誘導し、古典的なBLRを回復させる。 一般化された BLR は KL ベースの BLR から \textit{cannot} を導出する新しいアルゴリズムをもたらす。 二次統計を持つツァリスのネゲントロピーについて、一般化された BLR は有界支持と重テールの$q$-ガウス的後部とニュートン的な実装を得られる。 CIFAR-100までの実験では、制御可能なサポート、テール動作、競争性能が示されている。

関連論文リスト

• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
  KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T11:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。