論文の概要: A Computable Measure of Suboptimality for Entropy-Regularised Variational Objectives

• arxiv url: http://arxiv.org/abs/2509.10393v1
• Date: Fri, 12 Sep 2025 16:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:08.164842
• Title: A Computable Measure of Suboptimality for Entropy-Regularised Variational Objectives
• Title（参考訳）: エントロピー規則化された変分対象に対する部分最適性の計算可能尺度
• Authors: Clémentine Chazal, Heishiro Kanagawa, Zheyang Shen, Anna Korba, Chris. J. Oates,
• Abstract要約: ベイズ以降のいくつかの手法は、エントロピー規則化された変分目的が最小化される確率分布をターゲットにしている。 この柔軟性の向上は、目標に対する明示的な非正規化密度へのアクセスを失うことにより、計算上の課題をもたらす。 そこで我々は,「漸進的不一致」と呼ばれる新たな準最適度尺度を導入し,これを明示的に計算する。
• 参考スコア（独自算出の注目度）: 17.212481754312048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several emerging post-Bayesian methods target a probability distribution for which an entropy-regularised variational objective is minimised. This increased flexibility introduces a computational challenge, as one loses access to an explicit unnormalised density for the target. To mitigate this difficulty, we introduce a novel measure of suboptimality called 'gradient discrepancy', and in particular a 'kernel gradient discrepancy' (KGD) that can be explicitly computed. In the standard Bayesian context, KGD coincides with the kernel Stein discrepancy (KSD), and we obtain a novel charasterisation of KSD as measuring the size of a variational gradient. Outside this familiar setting, KGD enables novel sampling algorithms to be developed and compared, even when unnormalised densities cannot be obtained. To illustrate this point several novel algorithms are proposed, including a natural generalisation of Stein variational gradient descent, with applications to mean-field neural networks and prediction-centric uncertainty quantification presented. On the theoretical side, our principal contribution is to establish sufficient conditions for desirable properties of KGD, such as continuity and convergence control.
• Abstract（参考訳）: ベイズ以降のいくつかの手法は、エントロピー規則化された変分目的が最小化される確率分布をターゲットにしている。 この柔軟性の向上は、目標に対する明示的な非正規化密度へのアクセスを失うことにより、計算上の課題をもたらす。 この難しさを軽減するため、我々は「漸進的不整合」と呼ばれる新たな最適度尺度を導入し、特に明示的に計算できる「カーネル勾配不整合」(KGD)を導入する。 標準的なベイズ的文脈では、KGDはカーネルのStein差分(KSD)と一致し、変動勾配の大きさを測る新しいKSDのカラスタ化が得られる。 この慣れ親しんだ設定以外では、KGDは、正規化されていない密度が得られなくても、新しいサンプリングアルゴリズムを開発し、比較することができる。 この点を説明するために、平均場ニューラルネットワークおよび予測中心の不確実性定量化への応用を含む、スタイン変分勾配勾配の自然な一般化を含む、いくつかの新しいアルゴリズムが提案されている。 理論的には、我々の主な貢献は、連続性や収束制御のようなKGDの望ましい性質に対する十分な条件を確立することである。

関連論文リスト

• Spectral Algorithms in Misspecified Regression: Convergence under Covariate Shift [0.2578242050187029]
  スペクトルアルゴリズムは逆問題から派生した正則化手法のクラスである。 本稿では,共変量シフトの下でのスペクトルアルゴリズムの収束特性について検討する。 我々は、ターゲット関数がヒルベルト空間(RKHS)を再現するカーネルに属さない、より困難な不特定ケースの理論解析を提供する。
  論文  参考訳（メタデータ） (2025-09-05T13:42:27Z)
• Precise Bayesian Neural Networks [0.0]
  我々は,現代的な正規化アーキテクチャに適合し,精度を犠牲にすることなくキャリブレーションを改善する軽量で実装可能な変分ユニットを開発した。 簡単に言えば、変分後部をネットワーク固有の幾何学と整合させることで、BNNは同時に原理化され、実用的で、正確である。
  論文  参考訳（メタデータ） (2025-06-24T15:42:00Z)
• Deep Out-of-Distribution Uncertainty Quantification via Weight Entropy Maximization [7.182234028830364]
  本稿では,ベイジアン法とアンサンブル法を用いて,ディープラーニングにおける不確実な定量化と分布外検出を扱う。 ニューラルネットワークを考えると、平均的な経験的リスクと重量分布エントロピーの間のトレードオフとして定義されたそのような分布を構築するために、実用的な最適化が導出される。
  論文  参考訳（メタデータ） (2023-09-27T14:46:10Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
  ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。 スパースDNNに対する新たなペナル化推定法を提案する。 スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
  論文  参考訳（メタデータ） (2020-03-26T07:15:28Z)
• GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values [75.17074235764757]
  対象ポリシーの状態分布とサンプリング分布の密度比を推定するグラディエントDICEを提案する。 GenDICEはそのような密度比を推定するための最先端技術である。
  論文  参考訳（メタデータ） (2020-01-29T22:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。