論文の概要: Logistic Variational Bayes Revisited

• arxiv url: http://arxiv.org/abs/2406.00713v1
• Date: Sun, 2 Jun 2024 11:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:46:38.722030
• Title: Logistic Variational Bayes Revisited
• Title（参考訳）: ロジスティックな変分ベイの再検討
• Authors: Michael Komodromos, Marina Evangelou, Sarah Filippi,
• Abstract要約: 変分ロジスティック回帰はベイズ近似の一般的な方法である。 エビデンス・ロウアー・バウンド(英語版)の難易度のため、著者はモンテカルロ(英語版)の使用、すなわち二次的あるいは境界を推論に用いた。 本稿では,ソフトプラス関数の期待値に対する新たなバウンダリを提案する。 我々は,この境界が最先端技術よりも厳密であり,その結果の変動後部が最先端技術の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 1.256245863497516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational logistic regression is a popular method for approximate Bayesian inference seeing wide-spread use in many areas of machine learning including: Bayesian optimization, reinforcement learning and multi-instance learning to name a few. However, due to the intractability of the Evidence Lower Bound, authors have turned to the use of Monte Carlo, quadrature or bounds to perform inference, methods which are costly or give poor approximations to the true posterior. In this paper we introduce a new bound for the expectation of softplus function and subsequently show how this can be applied to variational logistic regression and Gaussian process classification. Unlike other bounds, our proposal does not rely on extending the variational family, or introducing additional parameters to ensure the bound is tight. In fact, we show that this bound is tighter than the state-of-the-art, and that the resulting variational posterior achieves state-of-the-art performance, whilst being significantly faster to compute than Monte-Carlo methods.
• Abstract（参考訳）: 変分ロジスティック回帰は、ベイジアン最適化、強化学習、複数インスタンス学習など、機械学習の多くの分野で広く使われているベイジアン推論の一般的な方法である。 しかしながら、エビデンス・ロウアー・バウンドの難易度のため、著者はモンテカルロ(モンテカルロ)の使用、すなわち二次的あるいは境界的境界(英語版)を推論に用いた。 本稿では,ソフトプラス関数の期待値に新たなバウンダリを導入し,変分ロジスティック回帰とガウス過程の分類にどのように適用できるかを示す。 他のバウンダリとは異なり、我々の提案は変動族を拡張することや、バウンダリがタイトであることを保証するために追加のパラメータを導入することに依存しない。 実際、このバウンダリは最先端よりも厳密であり、結果の変動後部は最先端の性能を達成する一方で、モンテカルロ法よりも計算がかなり高速であることを示す。

関連論文リスト

• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Transfer Learning with Gaussian Processes for Bayesian Optimization [9.933956770453438]
  トランスファーラーニングのための階層型GPモデルについて統一的なビューを提供し、メソッド間の関係を分析する。 我々は,既存のアプローチと複雑性の両立する新しい閉形式GP転送モデルを開発した。 大規模実験における異なる手法の性能評価を行い、異なる移動学習手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2021-11-22T14:09:45Z)
• Amortized Variational Deep Q Network [28.12600565839504]
  本稿では,ディープQネットワークにおける動作値関数の後方分布を近似する補正型変分推論フレームワークを提案する。 このアモータイズされたフレームワークは,既存の最先端手法よりも学習パラメータがかなり少ないことを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:48:18Z)
• The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
  このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
  論文  参考訳（メタデータ） (2020-07-03T11:31:52Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
  変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
  論文  参考訳（メタデータ） (2020-02-07T07:33:15Z)
• Lifted Hybrid Variational Inference [31.441922284854893]
  ハイブリッド領域に適用可能な2つの近似昇降変分法について検討する。 提案手法はスケーラブルであり,近似モデル対称性を活用可能であることを示す。 我々は、ベテ近似が辺のポリトープに対して非自明な推定を与えるのに十分な条件を示す。
  論文  参考訳（メタデータ） (2020-01-08T22:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。