論文の概要: Optimal Subspace Inference for the Laplace Approximation of Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2502.02345v1
• Date: Tue, 04 Feb 2025 14:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:57:35.518391
• Title: Optimal Subspace Inference for the Laplace Approximation of Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのラプラス近似に対する最適部分空間推定
• Authors: Josua Faller, Jörg Martin,
• Abstract要約: 数学的に最適部分空間モデルをラプラス近似に基づくベイズ推定シナリオに導出する。 実験により、最適の場合、1%未満のパラメータのごく一部は、完全なラプラス近似の信頼できる推定値を得るのに十分であることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Subspace inference for neural networks assumes that a subspace of their parameter space suffices to produce a reliable uncertainty quantification. In this work, we mathematically derive the optimal subspace model to a Bayesian inference scenario based on the Laplace approximation. We demonstrate empirically that, in the optimal case, often a fraction of parameters less than 1% is sufficient to obtain a reliable estimate of the full Laplace approximation. Since the optimal solution is derived, we can evaluate all other subspace models against a baseline. In addition, we give an approximation of our method that is applicable to larger problem settings, in which the optimal solution is not computable, and compare it to existing subspace models from the literature. In general, our approximation scheme outperforms previous work. Furthermore, we present a metric to qualitatively compare different subspace models even if the exact Laplace approximation is unknown.
• Abstract（参考訳）: ニューラルネットワークのサブスペース推論は、パラメータ空間のサブスペースが、確実な不確実性定量化を生成するのに十分であると仮定する。 本研究では,ラプラス近似に基づくベイズ推論シナリオに対して,最適部分空間モデルを数学的に導出する。 実験によって、最適の場合、1%未満のパラメータのごく一部は、完全なラプラス近似の信頼できる推定値を得るのに十分であることが示された。 最適解は導出されるので、ベースラインに対して他のすべての部分空間モデルを評価することができる。 さらに、最適解が計算不可能なより大規模な問題設定に適用可能な手法を近似し、文献から既存の部分空間モデルと比較する。 一般に、我々の近似スキームは以前の作業より優れています。 さらに、正確なラプラス近似が未知であっても、異なる部分空間モデルを質的に比較するための計量を示す。

関連論文リスト

• Learning minimal volume uncertainty ellipsoids [1.6795461001108096]
  パラメータ推定問題に対する不確実性領域の学習問題を考察する。 連立ガウスデータの仮定により、最適楕円体が条件平均を中心としていることが証明される。 より実践的な場合、最適楕円体を近似計算するための微分可能な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-03T19:11:35Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Entropic estimation of optimal transport maps [15.685006881635209]
  厳密な有限サンプル保証付き$mathbbRd$上の2つの分布間の最適写像を推定する手法を開発する。 我々は,Sinkhornのアルゴリズムを用いて,推定器の計算が容易であることを示す。
  論文  参考訳（メタデータ） (2021-09-24T14:57:26Z)
• Gaussian Process Subspace Regression for Model Reduction [7.41244589428771]
  部分空間値関数はパラメトリック・リダクション・オーダー・モデリング(PROM)を含む幅広い問題に現れる。 PROM では、各パラメータ点は、大きな系行列のペトロフ・ガレルキン射影に使用される部分空間に関連付けることができる。 本稿では,サブスペース予測のための新しいベイズ非モデルとして,ガウス過程部分空間回帰(GPS)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-09T20:41:23Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Bayesian ODE Solvers: The Maximum A Posteriori Estimate [30.767328732475956]
  常微分方程式の数値解は非線形ベイズ推論問題として当てはまることが確立されている。 後方推定の最大値は、前者に関連するヒルベルト空間の最適補間と一致する。 開発された方法論は、これらの推定器の収束を研究するための、新しくより自然なアプローチを提供する。
  論文  参考訳（メタデータ） (2020-04-01T11:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。