論文の概要: Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees

• arxiv url: http://arxiv.org/abs/2111.01721v1
• Date: Tue, 2 Nov 2021 16:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 14:22:26.854664
• Title: Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees
• Title（参考訳）: psd保証付き近似ベイズ推定のためのベイズニュートン法
• Authors: William J. Wilkinson, Simo S\"arkk\"a and Arno Solin
• Abstract要約: この視点は、数値最適化の枠組みの下で推論アルゴリズムを明示的に採用する。 最適化文献からのニュートン法に対する共通近似はこの枠組みの下でも有効であることを示す。 我々の統一的な視点は、様々な推論スキーム間の関係に関する新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 18.419390913544504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formulate natural gradient variational inference (VI), expectation propagation (EP), and posterior linearisation (PL) as extensions of Newton's method for optimising the parameters of a Bayesian posterior distribution. This viewpoint explicitly casts inference algorithms under the framework of numerical optimisation. We show that common approximations to Newton's method from the optimisation literature, namely Gauss-Newton and quasi-Newton methods (e.g., the BFGS algorithm), are still valid under this `Bayes-Newton' framework. This leads to a suite of novel algorithms which are guaranteed to result in positive semi-definite covariance matrices, unlike standard VI and EP. Our unifying viewpoint provides new insights into the connections between various inference schemes. All the presented methods apply to any model with a Gaussian prior and non-conjugate likelihood, which we demonstrate with (sparse) Gaussian processes and state space models.
• Abstract（参考訳）: ベイズ後方分布のパラメータを最適化するためのニュートン法の拡張として,自然勾配変動推定(vi),期待伝播(ep),後続線形化(pl)を定式化した。 この視点は、数値最適化の枠組みの下で推論アルゴリズムを明示的に採用する。 最適化文学におけるニュートン法に対する一般的な近似、すなわちガウスニュートン法と準ニュートン法(例えばbfgs法)は、この「バイエスニュートン」フレームワークの下でも有効であることを示す。 これは、標準の VI や EP とは異なり、正の半定値の共分散行列をもたらすことが保証される新しいアルゴリズムの組につながる。 我々の統一的な視点は、様々な推論スキーム間の関係に関する新たな洞察を提供する。 提示されたすべての方法がガウス的先行性および非共役性を持つ任意のモデルに適用され、これはガウス的過程と状態空間モデルで示される。

関連論文リスト

• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Modified Gauss-Newton Algorithms under Noise [2.0454959820861727]
  Gauss-Newton や proxlinear のアルゴリズムは、大規模な統計的設定における勾配降下と比較して、対照的な結果をもたらす可能性がある。 本稿では, この2種類のアルゴリズムの対比性能を, 統計的手法を用いて理論的に検証し, 構造化予測を含む学習問題について実験的に検討する。
  論文  参考訳（メタデータ） (2023-05-18T01:10:42Z)
• Robust empirical risk minimization via Newton's method [9.797319790710711]
  実験的リスク最小化のためのニュートン法の新しい変種について検討した。 目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。 また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:54:54Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions [0.0]
  本稿では,Newton法が勾配およびヘッセン版のサブサンプル版を用いて,その推定値を反復的に更新する方法を示す。 ベイズフィルタを適用して、観測の歴史全体について考察する。 古い観測結果が減少する行列に基づく条件を確立する。 このアプローチのさまざまな側面を、Newtonメソッドの例や他のイノベーションで説明します。
  論文  参考訳（メタデータ） (2021-04-27T02:39:21Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
  誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。 この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
  論文  参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。