論文の概要: Bayesian Meta-Learning Through Variational Gaussian Processes
- arxiv url: http://arxiv.org/abs/2110.11044v1
- Date: Thu, 21 Oct 2021 10:44:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-23 03:28:46.962578
- Title: Bayesian Meta-Learning Through Variational Gaussian Processes
- Title(参考訳): 変分ガウス過程によるベイズメタラーニング
- Authors: Vivek Myers, Nikhil Sardana
- Abstract要約: ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。
提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in the field of meta-learning have tackled domains consisting
of large numbers of small ("few-shot") supervised learning tasks. Meta-learning
algorithms must be able to rapidly adapt to any individual few-shot task,
fitting to a small support set within a task and using it to predict the labels
of the task's query set. This problem setting can be extended to the Bayesian
context, wherein rather than predicting a single label for each query data
point, a model predicts a distribution of labels capturing its uncertainty.
Successful methods in this domain include Bayesian ensembling of MAML-based
models, Bayesian neural networks, and Gaussian processes with learned deep
kernel and mean functions. While Gaussian processes have a robust Bayesian
interpretation in the meta-learning context, they do not naturally model
non-Gaussian predictive posteriors for expressing uncertainty. In this paper,
we design a theoretically principled method, VMGP, extending
Gaussian-process-based meta-learning to allow for high-quality, arbitrary
non-Gaussian uncertainty predictions. On benchmark environments with complex
non-smooth or discontinuous structure, we find our VMGP method performs
significantly better than existing Bayesian meta-learning baselines.
- Abstract(参考訳): メタラーニングの分野での最近の進歩は、多数の小さな(ファウショット)教師付き学習タスクからなる領域に取り組みつつある。
メタラーニングアルゴリズムは、タスク内の小さなサポートセットに適合し、タスクのクエリセットのラベルを予測するために使用する、個々の少数タスクに迅速に適応できなければなりません。
この問題設定はベイズ文脈にまで拡張することができ、クエリデータポイントごとに単一のラベルを予測するのではなく、モデルがその不確実性を捉えたラベルの分布を予測する。
この領域で成功した方法は、MAMLベースのモデルのベイズアンサンブル、ベイズニューラルネットワーク、学習された深層カーネルと平均関数を持つガウス過程である。
ガウス過程はメタラーニングの文脈ではベイズ的解釈が強いが、不確実性を表現するために非ガウス的予測後部を自然にモデル化するわけではない。
本稿では,gaussian-process-based meta-learningを拡張し,高品質で任意の非ガウス的不確実性予測を可能にする理論的な手法であるvmgpを設計した。
複雑な非滑らかな構造や不連続な構造を持つベンチマーク環境では,我々のVMGP法は既存のベイズ的メタラーニングベースラインよりも優れた性能を示した。
関連論文リスト
- Meta-learning to Calibrate Gaussian Processes with Deep Kernels for
Regression Uncertainty Estimation [43.23399636191726]
本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。
提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。
実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
論文 参考訳(メタデータ) (2023-12-13T07:58:47Z) - Scalable Meta-Learning with Gaussian Processes [11.528128570533273]
タスク数でスケーラブルなメタ学習のためのモジュール型GPモデルであるScaML-GPを開発した。
私たちのコアコントリビューションは、階層的なトレーニングとタスクのスケーラビリティを可能にする、慎重に設計されたマルチタスクカーネルです。
合成および実世界のメタ学習実験において、ScaML-GPは少ないメタタスクと多数のメタタスクの両方で効率的に学習できることを実証した。
論文 参考訳(メタデータ) (2023-12-01T17:25:10Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳(メタデータ) (2023-03-31T02:10:30Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳(メタデータ) (2022-10-24T15:14:26Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Transfer Bayesian Meta-learning via Weighted Free Energy Minimization [37.51664463278401]
重要な前提は、メタトレーニングタスクとして知られる補助タスクが、デプロイ時に遭遇するタスクと同じ生成分布を共有することである。
本稿では,トランスファーメタラーニングのための重み付き自由エネルギー最小化(WFEM)を提案する。
論文 参考訳(メタデータ) (2021-06-20T15:17:51Z) - Covariate Distribution Aware Meta-learning [3.494950334697974]
本稿では,有意義な緩和を導入することで,計算可能なメタ学習アルゴリズムを提案する。
一般的な分類ベンチマークに基づいて,ブートストラップによるメタラーニングベースラインに対するアルゴリズムの優位性を実証する。
論文 参考訳(メタデータ) (2020-07-06T05:00:13Z) - Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding
Meta-Amortization Error [50.83356836818667]
循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。
実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
論文 参考訳(メタデータ) (2020-03-04T04:43:16Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳(メタデータ) (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。