論文の概要: Excess risk analysis for epistemic uncertainty with application to variational inference

• arxiv url: http://arxiv.org/abs/2206.01606v1
• Date: Thu, 2 Jun 2022 12:12:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 08:51:33.147885
• Title: Excess risk analysis for epistemic uncertainty with application to variational inference
• Title（参考訳）: てんかん不確実性の過剰リスク解析と変分推論への応用
• Authors: Futoshi Futami, Tomoharu Iwata, Naonori Ueda, Issei Sato, Masashi Sugiyama
• Abstract要約: 我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。 一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。 本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
• 参考スコア（独自算出の注目度）: 110.4676591819618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the epistemic uncertainty (EU) of supervised learning in Bayesian inference by focusing on the excess risk. Existing analysis is limited to the Bayesian setting, which assumes a correct model and exact Bayesian posterior distribution. Thus we cannot apply the existing theory to modern Bayesian algorithms, such as variational inference. To address this, we present a novel EU analysis in the frequentist setting, where data is generated from an unknown distribution. We show a relation between the generalization ability and the widely used EU measurements, such as the variance and entropy of the predictive distribution. Then we show their convergence behaviors theoretically. Finally, we propose new variational inference that directly controls the prediction and EU evaluation performances based on the PAC-Bayesian theory. Numerical experiments show that our algorithm significantly improves the EU evaluation over the existing methods.
• Abstract（参考訳）: ベイズ推論における教師あり学習の認識の不確実性(EU)を過剰リスクに着目して分析する。 既存の解析は、正しいモデルと正確なベイズ後方分布を仮定するベイズ設定に限定されている。 したがって、変分推論のような現代のベイズアルゴリズムに既存の理論を適用することはできない。 そこで本研究では, 未知の分布からデータを生成する, 頻繁性設定における新しいeu解析を提案する。 一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。 次に,その収束挙動を理論的に示す。 最後に,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。 数値実験により,本アルゴリズムは既存の手法よりもEUの評価を大幅に改善することが示された。

関連論文リスト

• In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
  償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T10:00:24Z)
• On the Identifiability of Sparse ICA without Assuming Non-Gaussianity [20.333908367541895]
  我々は、情報源の分布にさらなる前提条件を課すことなく、二階統計に依存する識別可能性理論を開発する。 本稿では,2次統計量と空間制約に基づく2つの推定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T18:51:42Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Invariant Probabilistic Prediction [45.90606906307022]
  任意の分布シフトは、一般に不変かつ頑健な確率的予測を認めないことを示す。 Invariant probabilistic predictions called IPP, and study the consistency of the underlying parameters。
  論文  参考訳（メタデータ） (2023-09-18T18:50:24Z)
• Adversarial robustness of amortized Bayesian inference [3.308743964406687]
  償却ベイズ推論は、当初シミュレーションデータ上の推論ネットワークのトレーニングに計算コストを投資することを目的としている。 観測対象のほとんど認識不能な摂動は、予測された後部および非現実的な後部予測標本に劇的な変化をもたらす可能性があることを示す。 本研究では,条件密度推定器のフィッシャー情報をペナライズした計算効率の高い正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:18:45Z)
• Non-Linear Spectral Dimensionality Reduction Under Uncertainty [107.01839211235583]
  我々は、不確実性情報を活用し、いくつかの従来のアプローチを直接拡張する、NGEUと呼ばれる新しい次元削減フレームワークを提案する。 提案したNGEUの定式化は,大域的な閉形式解を示し,Radecherの複雑性に基づいて,基礎となる不確実性がフレームワークの一般化能力に理論的にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2022-02-09T19:01:33Z)
• Causality and Generalizability: Identifiability and Learning Methods [0.0]
  この論文は、因果効果の推定、因果構造学習、および分布的に堅牢な予測方法に関する研究領域に寄与する。 本稿では,データ依存平均二乗予測誤差正規化を用いた機器変数設定における線形・非線形因果関係推定器について述べる。 本稿では,介入誘起分布に関する分布ロバスト性に関する一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-04T13:12:11Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。