論文の概要: Understanding Variational Inference in Function-Space

• arxiv url: http://arxiv.org/abs/2011.09421v1
• Date: Wed, 18 Nov 2020 17:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 03:38:23.692026
• Title: Understanding Variational Inference in Function-Space
• Title（参考訳）: 関数空間における変分推論の理解
• Authors: David R. Burt, Sebastian W. Ober, Adri\`a Garriga-Alonso, Mark van der Wilk
• Abstract要約: この設定で、Kullback-Leiblerの発散を利用する際の利点と制限を強調します。 近似品質を直接測定する関数空間推論手法のベンチマークとしてベイズ線形回帰法を提案する。
• 参考スコア（独自算出の注目度）: 20.940162027560408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has attempted to directly approximate the `function-space' or predictive posterior distribution of Bayesian models, without approximating the posterior distribution over the parameters. This is appealing in e.g. Bayesian neural networks, where we only need the former, and the latter is hard to represent. In this work, we highlight some advantages and limitations of employing the Kullback-Leibler divergence in this setting. For example, we show that minimizing the KL divergence between a wide class of parametric distributions and the posterior induced by a (non-degenerate) Gaussian process prior leads to an ill-defined objective function. Then, we propose (featurized) Bayesian linear regression as a benchmark for `function-space' inference methods that directly measures approximation quality. We apply this methodology to assess aspects of the objective function and inference scheme considered in Sun, Zhang, Shi, and Grosse (2018), emphasizing the quality of approximation to Bayesian inference as opposed to predictive performance.
• Abstract（参考訳）: 最近の研究は、パラメータの後方分布を近似することなく、ベイズモデルの「関数空間」あるいは予測後分布を直接近似しようと試みている。 これは例えば、前者のみを必要とするベイズニューラルネットワークにおいて魅力的であり、後者は表現が難しい。 本研究では,本設定におけるkullback-leiblerの発散の利点と限界について述べる。 例えば、広域なパラメトリック分布と(非退化)ガウス過程によって引き起こされる後続部分とのKLの発散を最小化することは、未定義の目的関数につながることを示す。 そこで我々は,近似品質を直接測定する関数空間推論手法のベンチマークとしてベイズ線形回帰法を提案する。 この手法を,sun, zhang, shi, grosse (2018)で検討された目的関数と推論スキームの側面を評価するために応用し,予測性能とは対照的にベイズ推論の近似の質を強調する。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
  線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T14:49:15Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
  変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。 これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
  論文  参考訳（メタデータ） (2022-09-15T09:13:30Z)
• Loss-calibrated expectation propagation for approximate Bayesian decision-making [24.975981795360845]
  損失校正予測伝搬(Loss-EP)は,損失校正予測伝搬の変種である。 我々は、この非対称性が、近似で取得する「有用な」情報に劇的な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-01-10T01:42:28Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Variational Inference as Iterative Projection in a Bayesian Hilbert Space with Application to Robotic State Estimation [14.670851095242451]
  変分ベイズ推論は統計学からロボット工学への応用を見つける重要な機械学習ツールである。 KLの発散に基づく変分推論は、ユークリッドの意味では、選択された近似族に対応する部分空間へのベイズ後方の反復射影に等しいことを示す。
  論文  参考訳（メタデータ） (2020-05-14T21:33:31Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
  変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
  論文  参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。