論文の概要: Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks

• arxiv url: http://arxiv.org/abs/2007.11994v1
• Date: Tue, 21 Jul 2020 17:42:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 04:21:53.996087
• Title: Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks
• Title（参考訳）: gauss-newton法の解法とニューラルネットワークの近似推論
• Authors: Alexander Immer
• Abstract要約: 我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
• 参考スコア（独自算出の注目度）: 96.87076679064499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this thesis, we disentangle the generalized Gauss-Newton and approximate inference for Bayesian deep learning. The generalized Gauss-Newton method is an optimization method that is used in several popular Bayesian deep learning algorithms. Algorithms that combine the Gauss-Newton method with the Laplace and Gaussian variational approximation have recently led to state-of-the-art results in Bayesian deep learning. While the Laplace and Gaussian variational approximation have been studied extensively, their interplay with the Gauss-Newton method remains unclear. Recent criticism of priors and posterior approximations in Bayesian deep learning further urges the need for a deeper understanding of practical algorithms. The individual analysis of the Gauss-Newton method and Laplace and Gaussian variational approximations for neural networks provides both theoretical insight and new practical algorithms. We find that the Gauss-Newton method simplifies the underlying probabilistic model significantly. In particular, the combination of the Gauss-Newton method with approximate inference can be cast as inference in a linear or Gaussian process model. The Laplace and Gaussian variational approximation can subsequently provide a posterior approximation to these simplified models. This new disentangled understanding of recent Bayesian deep learning algorithms also leads to new methods: first, the connection to Gaussian processes enables new function-space inference algorithms. Second, we present a marginal likelihood approximation of the underlying probabilistic model to tune neural network hyperparameters. Finally, the identified underlying models lead to different methods to compute predictive distributions. In fact, we find that these prediction methods for Bayesian neural networks often work better than the default choice and solve a common issue with the Laplace approximation.
• Abstract（参考訳）: 本論文では,gauss-newtonの一般化とベイズ深層学習の近似推論について考察する。 一般化ガウスニュートン法(英: generalized Gauss-Newton method)は、ベイジアンディープラーニングアルゴリズムで用いられる最適化法である。 ガウス・ニュートン法とラプラス法とガウス変分近似を組み合わせたアルゴリズムは、最近ベイズ深層学習の最先端の結果をもたらした。 ラプラスとガウスの変分近似は広く研究されているが、ガウス・ニュートン法との相互作用はいまだ不明である。 ベイジアンディープラーニングにおける事前および後部近似に対する最近の批判は、実用的なアルゴリズムのより深い理解の必要性をさらに示唆している。 ニューラルネットワークに対するガウスニュートン法とラプラス・ガウス変分近似の個別解析は、理論的洞察と新しい実用的なアルゴリズムの両方を提供する。 ガウスニュートン法は基礎となる確率モデルを大幅に単純化する。 特に、ガウス・ニュートン法と近似推論の組み合わせは、線形またはガウス過程モデルにおいて推論としてキャストできる。 ラプラスとガウスの変分近似は、これらの単純化されたモデルに後続近似を与えることができる。 最新のベイズ深層学習アルゴリズムに対するこの新しい非絡み合いの理解はまた、新しい方法をもたらす: まず、ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。 第2に,ニューラルネットワークのハイパーパラメータをチューニングするための確率モデルの限界帰納近似を提案する。 最後に、同定された基礎モデルによって予測分布を計算する異なる方法が導かれる。 実際、ベイズニューラルネットワークのこれらの予測手法は、デフォルトの選択よりもうまく機能し、ラプラス近似の共通問題を解くことがしばしばある。

関連論文リスト

• Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
  ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。 その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。 副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T05:39:26Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Modified Gauss-Newton Algorithms under Noise [2.0454959820861727]
  Gauss-Newton や proxlinear のアルゴリズムは、大規模な統計的設定における勾配降下と比較して、対照的な結果をもたらす可能性がある。 本稿では, この2種類のアルゴリズムの対比性能を, 統計的手法を用いて理論的に検証し, 構造化予測を含む学習問題について実験的に検討する。
  論文  参考訳（メタデータ） (2023-05-18T01:10:42Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees [18.419390913544504]
  この視点は、数値最適化の枠組みの下で推論アルゴリズムを明示的に採用する。 最適化文献からのニュートン法に対する共通近似は、この「ベイズ・ニュートン」フレームワークの下でも有効であることを示す。 我々の統一的な視点は、様々な推論スキーム間の関係に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2021-11-02T16:39:29Z)
• Pathwise Conditioning of Gaussian Processes [72.61885354624604]
  ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。 この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。 条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2020-11-08T17:09:37Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
  誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。 この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
  論文  参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。