論文の概要: Surprisal-Rényi Free Energy
- arxiv url: http://arxiv.org/abs/2603.03405v1
- Date: Tue, 03 Mar 2026 16:42:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.03928
- Title: Surprisal-Rényi Free Energy
- Title（参考訳）: サプライサル・レニエ自由エネルギー
- Authors: Shion Matsumoto, Raul Castillo, Benjamin Prada, Ankur Arjun Mali,
- Abstract要約: 本稿では,$f$-divergencesのクラス外に存在する可能性比の対数モーメントに基づく関数であるSurprisal-Rényi Free Energy (SRFE)を紹介する。
SRFEは,一意の終点限界として分岐し,対数類似度比のばらつきが一階補正として現れるような両方の限界付近の局所展開を導出することを示す。
- 参考スコア（独自算出の注目度）: 3.0518869830825293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The forward and reverse Kullback-Leibler (KL) divergences arise as limiting objectives in learning and inference yet induce markedly different inductive biases that cannot be explained at the level of expectations alone. In this work, we introduce the Surprisal-Rényi Free Energy (SRFE), a log-moment-based functional of the likelihood ratio that lies outside the class of $f$-divergences. We show that SRFE recovers forward and reverse KL divergences as singular endpoint limits and derive local expansions around both limits in which the variance of the log-likelihood ratio appears as a first-order correction. This reveals an explicit mean-variance tradeoff governing departures from KL-dominated regimes. We further establish a Gibbs-type variational characterization of SRFE as the unique minimizer of a weighted sum of KL divergences and prove that SRFE directly controls large deviations of excess code-length via Chernoff-type bounds, yielding a precise Minimum Description Length interpretation. Together, these results identify SRFE as a variance- and tail-sensitive free-energy functional that clarifies the geometric and large-deviation structure underlying forward and reverse KL limits, without unifying or subsuming distinct learning frameworks.
- Abstract（参考訳）: 前方と後方のクルバック・リーブラー(KL)の分岐は、学習と推論の目的の制限として生じるが、期待レベルだけでは説明できない帰納的バイアスが著しく異なる。
本稿では,約$f$-divergencesのクラス外に存在する可能性比の対数モーメントに基づく関数であるSurprisal-Rényi Free Energy (SRFE)を紹介する。
SRFEは単一終点限界として前方および後方KLの分岐を回復し、対数様比のばらつきが一階補正として現れる両方の限界周辺の局所展開を導出することを示す。
このことは、KLが支配する政権からの離脱を規定する明確な平均分散トレードオフを明らかにしている。
さらに、KLの重み付き和の唯一の最小値として、Gibs型のSRFEの変分特性を確立し、Chernoff型境界による余剰符号長の大きな偏差を直接制御し、正確な最小記述長の解釈をもたらすことを証明した。
これらの結果は、SRFEを、異なる学習フレームワークを統一または仮定することなく、前方および後方KL限界の基礎となる幾何的および大偏差構造を明らかにする分散およびテール感受性自由エネルギー関数として同定する。
関連論文リスト
- Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。
CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
論文 参考訳（メタデータ） (2026-01-06T16:26:40Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳（メタデータ） (2026-01-05T08:04:33Z) - From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference [0.12183405753834557]
半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する
本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
論文 参考訳（メタデータ） (2025-12-05T19:26:25Z) - Divergence-Minimization for Latent-Structure Models: Monotone Operators, Contraction Guarantees, and Robust Inference [5.373905622325275]
我々は、潜時混合モデルにおける堅牢かつ効率的な推論のための分散化最小化(DM)フレームワークを開発する。
残留調整された発散を最適化することにより、DMアプローチはEMを特別なケースとして回収し、堅牢な代替品を生成する。
論文 参考訳（メタデータ） (2025-11-22T08:25:29Z) - A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。
本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。
判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
論文 参考訳（メタデータ） (2025-01-20T02:48:07Z) - Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。
本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
論文 参考訳（メタデータ） (2024-10-01T04:27:07Z) - Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence [7.273481485032721]
Bach [2022] が導入したカーネル共分散作用素によるクルバック・リーブラ発散の統計的および幾何学的性質について検討する。
密度比を含む古典的なクルバック・リーブラー(KL)の発散とは異なり、KKLは再現可能なカーネルヒルベルト空間(RKHS)における共分散作用素(埋め込み)による確率分布を比較する。
この斬新な発散は、確率分布と最大平均誤差のようなカーネル埋め込みメトリクスの間の標準のクルバック・リーバーと平行だが異なる側面を共有する。
論文 参考訳（メタデータ） (2024-08-29T14:01:30Z) - On the Training Instability of Shuffling SGD with Batch Normalization [44.28777474091466]
単一シャッフル(SS)とランダムリシャッフル(RR)は、バッチ正規化の存在下で驚くほど異なる相互作用をする。
SSは回帰と分類のばらつきを生じるが,RRは歪みとばらつきの両方を避けている。
論文 参考訳（メタデータ） (2023-02-24T04:10:54Z) - Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Function-space regularized R\'enyi divergences [6.221019624345409]
変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。
これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。
提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
論文 参考訳（メタデータ） (2022-10-10T19:18:04Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Non-asymptotic Optimal Prediction Error for Growing-dimensional
Partially Functional Linear Models [0.951828574518325]
予測誤差の最大値と最大値の上限を示す。
過剰な予測リスクの正確な上限は、非漸近的な形で示される。
モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
論文 参考訳（メタデータ） (2020-09-10T08:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。