Fugu-MT 論文翻訳(概要): Towards Improved Learning in Gaussian Processes: The Best of Two Worlds

論文の概要: Towards Improved Learning in Gaussian Processes: The Best of Two Worlds

arxiv url: http://arxiv.org/abs/2211.06260v1
Date: Fri, 11 Nov 2022 15:04:10 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 15:37:43.401706
Title: Towards Improved Learning in Gaussian Processes: The Best of Two Worlds
Title（参考訳）: ガウス過程における学習改善に向けて : 2つの世界のベスト
Authors: Rui Li, ST John, Arno Solin
Abstract要約: 本研究では,共役計算VIを用いたハイブリッド学習手法を設計し,EPのような余剰確率近似を用いて学習を行う。我々は、二項分類が優れた学習目標を提供し、より良い一般化をもたらすことを実証的に実証した。
参考スコア（独自算出の注目度）: 18.134776677795077
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gaussian process training decomposes into inference of the (approximate) posterior and learning of the hyperparameters. For non-Gaussian (non-conjugate) likelihoods, two common choices for approximate inference are Expectation Propagation (EP) and Variational Inference (VI), which have complementary strengths and weaknesses. While VI's lower bound to the marginal likelihood is a suitable objective for inferring the approximate posterior, it does not automatically imply it is a good learning objective for hyperparameter optimization. We design a hybrid training procedure where the inference leverages conjugate-computation VI and the learning uses an EP-like marginal likelihood approximation. We empirically demonstrate on binary classification that this provides a good learning objective and generalizes better.
Abstract（参考訳）: ガウス過程の訓練は、(およそ)後方の推論とハイパーパラメータの学習に分解される。非ガウス的(非共役的)確率に対して、近似推論の一般的な選択は、相補的な強みと弱みを持つ期待伝播(EP)と変分推論(VI)である。 VIの限界準位への下界は近似後続推定に適した目的であるが、自動的にハイパーパラメータ最適化の学習目的であることを示すものではない。我々は,推論が共役計算viを活用し,学習がep様辺縁近似を用いるハイブリッド学習手順を設計する。我々は、二項分類が優れた学習目標を提供し、より良い一般化をもたらすことを実証的に実証した。

関連論文リスト

Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-28T05:39:26Z)
Towards Improved Variational Inference for Deep Bayesian Models [7.841254447222393]
本論では,変分推論(VI)を近似として用いることを検討する。 VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
論文参考訳（メタデータ） (2024-01-23T00:40:20Z)
Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models [18.134776677795077]
本研究では,変分推論(VI)と学習目標との相互作用に着目した。我々は、共役計算VIを推論に利用するハイブリッドトレーニング手順を設計する。我々は、幅広いデータセットで提案の有効性を実証的に実証した。
論文参考訳（メタデータ） (2023-06-07T07:15:08Z)
Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文参考訳（メタデータ） (2023-02-08T17:58:11Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文参考訳（メタデータ） (2021-06-30T11:00:24Z)
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文参考訳（メタデータ） (2021-06-10T17:54:21Z)
Laplace Matching for fast Approximate Inference in Generalized Linear Models [27.70274403550477]
本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
論文参考訳（メタデータ） (2021-05-07T08:25:17Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Approximate Inference for Fully Bayesian Gaussian Process Regression [11.47317712333228]
ガウス過程モデルにおける学習は、平均と共分散関数のハイパーパラメータの適応を通じて起こる。 textitFully Bayesian Process Regression (GPR) と呼ぶGPの階層的仕様において、後方超過パラメータを推論する別の学習方法がある。ベンチマークデータセットを用いてベイズGPRの予測性能を解析する。
論文参考訳（メタデータ） (2019-12-31T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。