論文の概要: PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees

• arxiv url: http://arxiv.org/abs/2002.05551v5
• Date: Fri, 18 Jun 2021 07:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 09:52:35.676152
• Title: PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees
• Title（参考訳）: PACOH: PAC-Guaranteesによるベイズ最適メタラーニング
• Authors: Jonas Rothfuss and Vincent Fortuin and Martin Josifoski and Andreas Krause
• Abstract要約: PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
• 参考スコア（独自算出の注目度）: 77.67258935234403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning can successfully acquire useful inductive biases from data. Yet, its generalization properties to unseen learning tasks are poorly understood. Particularly if the number of meta-training tasks is small, this raises concerns about overfitting. We provide a theoretical analysis using the PAC-Bayesian framework and derive novel generalization bounds for meta-learning. Using these bounds, we develop a class of PAC-optimal meta-learning algorithms with performance guarantees and a principled meta-level regularization. Unlike previous PAC-Bayesian meta-learners, our method results in a standard stochastic optimization problem which can be solved efficiently and scales well. When instantiating our PAC-optimal hyper-posterior (PACOH) with Gaussian processes and Bayesian Neural Networks as base learners, the resulting methods yield state-of-the-art performance, both in terms of predictive accuracy and the quality of uncertainty estimates. Thanks to their principled treatment of uncertainty, our meta-learners can also be successfully employed for sequential decision problems.
• Abstract（参考訳）: メタラーニングはデータから有用な帰納的バイアスをうまく得ることができる。 しかし、未知の学習課題に対する一般化特性は理解されていない。 特に、メタトレーニングタスクの数が少なければ、過剰適合に対する懸念が高まる。 PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 これらのバウンダリを用いて、性能保証と原則付きメタレベル正規化を備えたPAC最適化メタラーニングアルゴリズムのクラスを開発する。 従来のPAC-ベイジアンメタラーナーとは異なり,提案手法は,効率よく解き,スケールできる標準的な確率最適化問題をもたらす。 PAC-optimal hyper-posterior (PACOH) をガウス過程とベイズニューラルネットワークをベースラーナーとしてインスタンス化すると、予測精度と不確実性評価の質の両方の観点から、得られた手法は最先端の性能が得られる。 不確実性の原則的な処理のおかげで、メタリーナーは逐次的な決定問題に対してうまく利用することができる。

関連論文リスト

• Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
  最適学習の設定にはPAC-ベイズ理論を用いる。 証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。 学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
  論文  参考訳（メタデータ） (2024-04-04T08:24:57Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
  PAC-Bayes理論を学習最適化の設定に適用する。 証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。 この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
  論文  参考訳（メタデータ） (2022-10-20T09:16:36Z)
• Meta-Learning Reliable Priors in the Function Space [36.869587157481284]
  本稿では,F-PACOHと呼ばれるメタ学習フレームワークを紹介し,メタ学習をプロセスとして扱い,関数空間内で直接メタレベル正規化を行う。 これにより、メタラーナーの予測を、不十分なメタトレーニングデータの領域における高い不確実性に向けて直接操縦することができ、よく校正された不確実性推定が得られる。
  論文  参考訳（メタデータ） (2021-06-06T18:07:49Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
  PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。 メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
  論文  参考訳（メタデータ） (2021-02-07T09:03:43Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。