論文の概要: Scalable Meta-Learning with Gaussian Processes
- arxiv url: http://arxiv.org/abs/2312.00742v1
- Date: Fri, 1 Dec 2023 17:25:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 13:48:35.201113
- Title: Scalable Meta-Learning with Gaussian Processes
- Title（参考訳）: ガウス過程によるスケーラブルなメタラーニング
- Authors: Petru Tighineanu, Lukas Grossberger, Paul Baireuther, Kathrin Skubch,
Stefan Falkner, Julia Vinogradska, Felix Berkenkamp
- Abstract要約: タスク数でスケーラブルなメタ学習のためのモジュール型GPモデルであるScaML-GPを開発した。
私たちのコアコントリビューションは、階層的なトレーニングとタスクのスケーラビリティを可能にする、慎重に設計されたマルチタスクカーネルです。
合成および実世界のメタ学習実験において、ScaML-GPは少ないメタタスクと多数のメタタスクの両方で効率的に学習できることを実証した。
- 参考スコア（独自算出の注目度）: 11.528128570533273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-learning is a powerful approach that exploits historical data to quickly
solve new tasks from the same distribution. In the low-data regime, methods
based on the closed-form posterior of Gaussian processes (GP) together with
Bayesian optimization have achieved high performance. However, these methods
are either computationally expensive or introduce assumptions that hinder a
principled propagation of uncertainty between task models. This may disrupt the
balance between exploration and exploitation during optimization. In this
paper, we develop ScaML-GP, a modular GP model for meta-learning that is
scalable in the number of tasks. Our core contribution is a carefully designed
multi-task kernel that enables hierarchical training and task scalability.
Conditioning ScaML-GP on the meta-data exposes its modular nature yielding a
test-task prior that combines the posteriors of meta-task GPs. In synthetic and
real-world meta-learning experiments, we demonstrate that ScaML-GP can learn
efficiently both with few and many meta-tasks.
- Abstract（参考訳）: メタラーニングは、過去のデータを利用して同じディストリビューションから新しいタスクを素早く解決する強力なアプローチである。
低データ方式では、ガウス過程(GP)の閉形式後部に基づく手法とベイズ最適化は高い性能を達成している。
しかし、これらの手法は計算コストが高いか、タスクモデル間の不確実性の原則的伝播を妨げる仮定を導入するかのいずれかである。
これは、最適化中の探索と利用のバランスを損なう可能性がある。
本稿では,タスク数でスケーラブルなメタ学習のためのモジュール型GPモデルであるScaML-GPを開発する。
私たちのコアコントリビューションは、階層的なトレーニングとタスクのスケーラビリティを可能にする、慎重に設計されたマルチタスクカーネルです。
メタデータ上のScaML-GPの条件付けは、そのモジュラーの性質を公開し、メタタスクGPの後部を結合したテストタスクを先取りする。
合成および実世界のメタ学習実験において、ScaML-GPは少ないメタタスクと多数のメタタスクの両方で効率的に学習できることを示した。
関連論文リスト
- Meta-learning to Calibrate Gaussian Processes with Deep Kernels for
Regression Uncertainty Estimation [43.23399636191726]
本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。
提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。
実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
論文 参考訳（メタデータ） (2023-12-13T07:58:47Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Modular Gaussian Processes for Transfer Learning [0.0]
モジュラー変動ガウス過程(GP)に基づく移動学習のためのフレームワークを提案する。
我々は,データを再考することなく,アンサンブルGPモデルを構築するモジュールベースの手法を開発した。
本手法は、望ましくないデータの集中化を回避し、計算コストの増大を低減し、学習後の不確実性指標の伝達を可能にする。
論文 参考訳（メタデータ） (2021-10-26T09:15:18Z) - Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。
提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
論文 参考訳（メタデータ） (2021-10-21T10:44:23Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Transfer Bayesian Meta-learning via Weighted Free Energy Minimization [37.51664463278401]
重要な前提は、メタトレーニングタスクとして知られる補助タスクが、デプロイ時に遭遇するタスクと同じ生成分布を共有することである。
本稿では,トランスファーメタラーニングのための重み付き自由エネルギー最小化(WFEM)を提案する。
論文 参考訳（メタデータ） (2021-06-20T15:17:51Z) - Energy-Efficient and Federated Meta-Learning via Projected Stochastic
Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。
各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文 参考訳（メタデータ） (2021-05-31T08:15:44Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。
合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
論文 参考訳（メタデータ） (2020-11-13T06:41:22Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。