論文の概要: Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice
- arxiv url: http://arxiv.org/abs/2211.07206v3
- Date: Fri, 22 Dec 2023 16:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 23:16:39.680006
- Title: Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice
- Title（参考訳）: PAC-Optimal Hyper-PosteriorによるスケーラブルなPAC-Bayesianメタラーニング:理論から実践へ
- Authors: Jonas Rothfuss, Martin Josifoski, Vincent Fortuin, Andreas Krause
- Abstract要約: メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
- 参考スコア（独自算出の注目度）: 54.03076395748459
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Meta-Learning aims to speed up the learning process on new tasks by acquiring
useful inductive biases from datasets of related learning tasks. While, in
practice, the number of related tasks available is often small, most of the
existing approaches assume an abundance of tasks; making them unrealistic and
prone to overfitting. A central question in the meta-learning literature is how
to regularize to ensure generalization to unseen tasks. In this work, we
provide a theoretical analysis using the PAC-Bayesian theory and present a
generalization bound for meta-learning, which was first derived by Rothfuss et
al. (2021a). Crucially, the bound allows us to derive the closed form of the
optimal hyper-posterior, referred to as PACOH, which leads to the best
performance guarantees. We provide a theoretical analysis and empirical case
study under which conditions and to what extent these guarantees for
meta-learning improve upon PAC-Bayesian per-task learning bounds. The
closed-form PACOH inspires a practical meta-learning approach that avoids the
reliance on bi-level optimization, giving rise to a stochastic optimization
problem that is amenable to standard variational methods that scale well. Our
experiments show that, when instantiating the PACOH with Gaussian processes and
Bayesian Neural Networks models, the resulting methods are more scalable, and
yield state-of-the-art performance, both in terms of predictive accuracy and
the quality of uncertainty estimates.
- Abstract（参考訳）: Meta-Learningは、関連する学習タスクのデータセットから有用な帰納バイアスを取得することで、新しいタスクの学習プロセスを高速化することを目的としている。
実際には、利用可能な関連するタスクの数は少ないことが多いが、既存のアプローチのほとんどは、多くのタスクを前提としており、非現実的で過度に適合する傾向がある。
メタラーニング文学における中心的な疑問は、未発見のタスクへの一般化を確実にするための規則化の方法である。
本研究では,pac-ベイズ理論を用いた理論的解析を行い,rothfuss et al. (2021a) によって初めて導かれたメタラーニングの一般化を提案する。
重要なことに、この境界はPACOHと呼ばれる最適超後光の閉形式を導出することができ、最高の性能保証をもたらす。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
閉形式PACOHは、二段階最適化に依存しない実践的なメタラーニングアプローチを刺激し、うまくスケールする標準的な変分法に対処可能な確率的最適化問題を引き起こす。
実験の結果,PACOHをガウス過程とベイジアンニューラルネットワークモデルでインスタンス化する場合,提案手法はよりスケーラブルで,予測精度と不確実性評価の両面において最先端性能が得られることがわかった。
関連論文リスト
- Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。
証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。
学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文 参考訳（メタデータ） (2024-04-04T08:24:57Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Meta-learning Feature Representations for Adaptive Gaussian Processes
via Implicit Differentiation [1.5293427903448025]
メタラーニングと従来の学習の補間により深層カーネルを学習するための一般的なフレームワークを提案する。
ADKFは完全に一般的な方法であるが、薬物発見問題に特に適していると論じる。
論文 参考訳（メタデータ） (2022-05-05T15:26:53Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳（メタデータ） (2021-06-06T23:53:31Z) - Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot
Meta-Learning [20.911545126223405]
数ショットの学習環境に適した2つのPAC-Bayesian境界を開発する。
既存の2つのメタ学習アルゴリズム(MAMLとReptile)が我々の限界から導出可能であることを示す。
我々は,計算効率のよいPACMAMLアルゴリズムを考案し,いくつかのベンチマークデータセットにおいて,既存のメタ学習アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-05-28T20:40:40Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。
メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文 参考訳（メタデータ） (2021-02-07T09:03:43Z) - On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文 参考訳（メタデータ） (2020-06-23T17:33:14Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。