論文の概要: PAC-Bayesian Meta-Learning: From Theory to Practice
- arxiv url: http://arxiv.org/abs/2211.07206v1
- Date: Mon, 14 Nov 2022 08:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 16:37:35.032355
- Title: PAC-Bayesian Meta-Learning: From Theory to Practice
- Title（参考訳）: PAC-Bayesianメタラーニング:理論から実践へ
- Authors: Jonas Rothfuss, Martin Josifoski, Vincent Fortuin, Andreas Krause
- Abstract要約: 本研究では,PAC-Bayesianフレームワークを用いた理論解析を行い,非有界損失関数を持つメタラーナーを導出する。
実験の結果,PACOHをガウス過程とベイズニューラルネットワークをベースラーナとしてインスタンス化する場合,提案手法はよりスケーラブルであることがわかった。
不確実性の原則的処理により、私たちのメタ学習者は、シーケンシャルな決定問題にうまく適用することができます。
- 参考スコア（独自算出の注目度）: 77.67258935234403
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Meta-Learning aims to accelerate the learning on new tasks by acquiring
useful inductive biases from related data sources. In practice, the number of
tasks available for meta-learning is often small. Yet, most of the existing
approaches rely on an abundance of meta-training tasks, making them prone to
overfitting. How to regularize the meta-learner to ensure generalization to
unseen tasks, is a central question in the literature. We provide a theoretical
analysis using the PAC-Bayesian framework and derive the first bound for
meta-learners with unbounded loss functions. Crucially, our bounds allow us to
derive the PAC-optimal hyper-posterior (PACOH) - the closed-form-solution of
the PAC-Bayesian meta-learning problem, thereby avoiding the reliance on nested
optimization, giving rise to an optimization problem amenable to standard
variational methods that scale well. Our experiments show that, when
instantiating the PACOH with Gaussian processes and Bayesian Neural Networks as
base learners, the resulting methods are more scalable, and yield
state-of-the-art performance, both in terms of predictive accuracy and the
quality of uncertainty estimates. Finally, thanks to the principled treatment
of uncertainty, our meta-learners can also be successfully employed for
sequential decision problems.
- Abstract（参考訳）: Meta-Learningは、関連するデータソースから有用な帰納バイアスを取得することで、新しいタスクの学習を加速することを目的としている。
実際には、メタ学習で利用できるタスクの数は少ないことが多い。
しかし、既存のアプローチのほとんどは、大量のメタトレーニングタスクに依存しているため、オーバーフィットしがちです。
メタラーナーを正規化して、目に見えないタスクを一般化する方法は、文学の中心的な問題である。
本研究では,PAC-Bayesianフレームワークを用いた理論解析を行い,非有界損失関数を持つメタラーナーを導出する。
重要なのは,pac-optimal hyper-posterior (pacoh) -pac-bayesian meta-learning問題のクローズドフォーム解法を導出することで,ネスト最適化への依存を回避し,スケーラブルにスケール可能な標準変分法に適応可能な最適化問題を生じさせることである。
実験の結果,PACOHをガウス過程とベイジアンニューラルネットワークをベースラーナーとしてインスタンス化する場合,提案手法はよりスケーラブルで,予測精度と不確実性評価の質の両方において,最先端性能が得られることがわかった。
最後に,不確実性の原理的処理により,逐次的決定問題に対してメタリーナーが有効である。
関連論文リスト
- Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。
証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。
学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文 参考訳（メタデータ） (2024-04-04T08:24:57Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Meta-learning Feature Representations for Adaptive Gaussian Processes
via Implicit Differentiation [1.5293427903448025]
メタラーニングと従来の学習の補間により深層カーネルを学習するための一般的なフレームワークを提案する。
ADKFは完全に一般的な方法であるが、薬物発見問題に特に適していると論じる。
論文 参考訳（メタデータ） (2022-05-05T15:26:53Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳（メタデータ） (2021-06-06T23:53:31Z) - Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot
Meta-Learning [20.911545126223405]
数ショットの学習環境に適した2つのPAC-Bayesian境界を開発する。
既存の2つのメタ学習アルゴリズム(MAMLとReptile)が我々の限界から導出可能であることを示す。
我々は,計算効率のよいPACMAMLアルゴリズムを考案し,いくつかのベンチマークデータセットにおいて,既存のメタ学習アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-05-28T20:40:40Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。
メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文 参考訳（メタデータ） (2021-02-07T09:03:43Z) - On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文 参考訳（メタデータ） (2020-06-23T17:33:14Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。