論文の概要: Tight Bounds for Jensen's Gap with Applications to Variational Inference
- arxiv url: http://arxiv.org/abs/2502.03988v2
- Date: Sun, 09 Nov 2025 13:35:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 19:11:14.1035
- Title: Tight Bounds for Jensen's Gap with Applications to Variational Inference
- Title（参考訳）: Jensenのギャップのタイト境界と変分推論への応用
- Authors: Marcin Mazur, Tadeusz Dziarmaga, Piotr Kościelniak, Łukasz Struski,
- Abstract要約: 我々は、関数と確率変数の両方に対する幅広い仮定を満たすイェンセンのギャップに対して、新しい一般境界を提案する。
我々は,本手法の性能に関する解析的および実証的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 3.6620310550061403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since its original formulation, Jensen's inequality has played a fundamental role across mathematics, statistics, and machine learning, with its probabilistic version highlighting the nonnegativity of the so-called Jensen's gap, i.e., the difference between the expectation of a convex function and the function at the expectation. Of particular importance is the case when the function is logarithmic, as this setting underpins many applications in variational inference, where the term variational gap is often used interchangeably. Recent research has focused on estimating the size of Jensen's gap and establishing tight lower and upper bounds under various assumptions on the underlying function and distribution, driven by practical challenges such as the intractability of log-likelihood in graphical models like variational autoencoders (VAEs). In this paper, we propose new, general bounds for Jensen's gap that accommodate a broad range of assumptions on both the function and the random variable, with special attention to exponential and logarithmic cases. We provide both analytical and empirical evidence for the performance of our method. Furthermore, we relate our bounds to the PAC-Bayes framework, providing new insights into generalization performance in probabilistic models.
- Abstract（参考訳）: 元々の定式化以降、イェンセンの不等式は数学、統計学、機械学習において基本的な役割を担い、その確率的バージョンは、いわゆるイェンセンのギャップの非負性、すなわち凸関数の期待値と期待値の関数との差を強調する。
特に重要なことは、関数が対数的である場合であり、この設定は変分推論における多くの応用の基盤となる。
近年の研究では、変分オートエンコーダ(VAEs)のようなグラフィカルモデルにおけるログライクリフの抽出可能性などの実践的な課題によって、Jensenのギャップの大きさを推定し、基礎となる関数と分布に関する様々な仮定の下で、下限と上限の厳密な境界を確立することに焦点が当てられている。
本稿では,関数と確率変数の両方に対する広い範囲の仮定を満たす,Jensenのギャップに対する新しい一般境界を提案し,指数的および対数的ケースに特に注目する。
我々は,本手法の性能に関する解析的および実証的な証拠を提供する。
さらに、我々はPAC-Bayesフレームワークとの境界を関連付け、確率モデルにおける一般化性能に関する新たな洞察を提供する。
関連論文リスト
- Comparing Generative Models with the New Physics Learning Machine [0.0]
大規模かつ高次元のレシエーションでは、機械学習は標準的な統計技術の限界を超える一連のツールを提供する。
この主張は、高エネルギー物理文献であるニュー物理学習マシン(New Physics Learning Machine)から、分類に基づく2サンプルテストを行うための提案を比較して、この主張を裏付けるものである。
本稿では,本手法の効率トレードオフと,学習に基づくアプローチの導入による計算コストについて述べる。
論文 参考訳（メタデータ） (2025-08-04T10:42:52Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳（メタデータ） (2024-03-18T17:08:24Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - An analysis of Universal Differential Equations for data-driven
discovery of Ordinary Differential Equations [7.48176340790825]
我々は、普通微分方程式(ODE)発見の文脈で、UDEフレームワークをテストすることで貢献する。
データ駆動型アプローチと数値解法を組み合わせる際の問題をいくつか取り上げる。
我々は,物理インフォームド・機械学習フレームワークの能力と限界を調査する上で,我々の分析は重要な貢献であると考えている。
論文 参考訳（メタデータ） (2023-06-17T12:26:50Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
論文 参考訳（メタデータ） (2023-01-31T02:31:18Z) - A Unifying Framework for Some Directed Distances in Statistics [0.0]
密度に基づく有向距離(特に発散距離)は統計学で広く使われている。
本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。
我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
論文 参考訳（メタデータ） (2022-03-02T04:24:13Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T12:13:51Z) - Marginal likelihood computation for model selection and hypothesis
testing: an extensive review [66.37504201165159]
この記事では、このトピックの最先端に関する総合的な研究について紹介する。
さまざまなテクニックの制限、メリット、コネクション、差異を強調します。
また、不適切な事前利用の問題や解決法についても述べる。
論文 参考訳（メタデータ） (2020-05-17T18:31:58Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳（メタデータ） (2020-02-05T21:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。