論文の概要: Riemannian Laplace approximations for Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2306.07158v1
• Date: Mon, 12 Jun 2023 14:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 14:09:34.358271
• Title: Riemannian Laplace approximations for Bayesian neural networks
• Title（参考訳）: ベイズニューラルネットワークに対するリーマンラプラス近似
• Authors: Federico Bergamin, Pablo Moreno-Mu\~noz, S{\o}ren Hauberg, Georgios Arvanitidis
• Abstract要約: 本稿では, 後円部形状に適応する簡易なパラメトリック近似後円板を提案する。 提案手法は従来のタスク間のラプラス近似よりも一貫して改善されていることを示す。
• 参考スコア（独自算出の注目度）: 3.6990978741464904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks often approximate the weight-posterior with a Gaussian distribution. However, practical posteriors are often, even locally, highly non-Gaussian, and empirical performance deteriorates. We propose a simple parametric approximate posterior that adapts to the shape of the true posterior through a Riemannian metric that is determined by the log-posterior gradient. We develop a Riemannian Laplace approximation where samples naturally fall into weight-regions with low negative log-posterior. We show that these samples can be drawn by solving a system of ordinary differential equations, which can be done efficiently by leveraging the structure of the Riemannian metric and automatic differentiation. Empirically, we demonstrate that our approach consistently improves over the conventional Laplace approximation across tasks. We further show that, unlike the conventional Laplace approximation, our method is not overly sensitive to the choice of prior, which alleviates a practical pitfall of current approaches.
• Abstract（参考訳）: ベイズニューラルネットワークは、しばしば重量-後部とガウス分布を近似する。 しかし、実践的な後部は、地方でも非常に非ガウス的であり、経験的なパフォーマンスは劣化することが多い。 本稿では,実後方の形状に適応する単純なパラメトリック近似後輪を提案し,その位置勾配によって決定されるリーマン計量を導出する。 我々は、サンプルが自然に負のログポストを持つ重み領域に収まるリーマンラプラス近似を開発する。 これらのサンプルは、リーマン計量の構造と自動微分を利用して効率的に行うことができる常微分方程式の系を解いて描画できることを示した。 実験により,従来のラプラス近似よりも一貫して改善できることを実証した。 さらに,従来のラプラス近似とは異なり,本手法は事前選択に過度に敏感ではなく,現在のアプローチの実用的落とし穴を緩和することを示した。

関連論文リスト

• Online Posterior Sampling with a Diffusion Prior [20.24212000441531]
  ガウス事前の文脈的包帯における後方サンプリングは、ラプラス近似を用いて正確にあるいはほぼ実施することができる。 そこで本研究では,拡散モデルを用いた文脈帯域に対する近似的な後方サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T20:47:16Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Riemannian Laplace Approximation with the Fisher Metric [5.982697037000189]
  ラプラスの手法は、目標密度とガウス分布をそのモードで近似する。 複雑なターゲットと有限データ後部では、しばしば近似が粗すぎる。 我々は、無限データの範囲内で正確である2つの代替変種を開発する。
  論文  参考訳（メタデータ） (2023-11-05T20:51:03Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics [3.8811062755861956]
  本稿では,2つの非対角的指標について述べる。 完全接続型ニューラルネットワーク(NN)と疎結合型プリエントと、相関したプリエントを持つ畳み込みNNでは、これらのメトリクスを用いることで改善が期待できることを示す。
  論文  参考訳（メタデータ） (2023-03-09T08:20:28Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Pathwise Conditioning of Gaussian Processes [72.61885354624604]
  ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。 この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。 条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2020-11-08T17:09:37Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。