論文の概要: Meta-Learning Reliable Priors in the Function Space

• arxiv url: http://arxiv.org/abs/2106.03195v1
• Date: Sun, 6 Jun 2021 18:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:50:22.367090
• Title: Meta-Learning Reliable Priors in the Function Space
• Title（参考訳）: 関数空間における信頼できる事前学習
• Authors: Jonas Rothfuss, Dominique Heyn, Jinfan Chen, Andreas Krause
• Abstract要約: 本稿では,F-PACOHと呼ばれるメタ学習フレームワークを紹介し,メタ学習をプロセスとして扱い,関数空間内で直接メタレベル正規化を行う。 これにより、メタラーナーの予測を、不十分なメタトレーニングデータの領域における高い不確実性に向けて直接操縦することができ、よく校正された不確実性推定が得られる。
• 参考スコア（独自算出の注目度）: 36.869587157481284
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Meta-Learning promises to enable more data-efficient inference by harnessing previous experience from related learning tasks. While existing meta-learning methods help us to improve the accuracy of our predictions in face of data scarcity, they fail to supply reliable uncertainty estimates, often being grossly overconfident in their predictions. Addressing these shortcomings, we introduce a novel meta-learning framework, called F-PACOH, that treats meta-learned priors as stochastic processes and performs meta-level regularization directly in the function space. This allows us to directly steer the probabilistic predictions of the meta-learner towards high epistemic uncertainty in regions of insufficient meta-training data and, thus, obtain well-calibrated uncertainty estimates. Finally, we showcase how our approach can be integrated with sequential decision making, where reliable uncertainty quantification is imperative. In our benchmark study on meta-learning for Bayesian Optimization (BO), F-PACOH significantly outperforms all other meta-learners and standard baselines. Even in a challenging lifelong BO setting, where optimization tasks arrive one at a time and the meta-learner needs to build up informative prior knowledge incrementally, our proposed method demonstrates strong positive transfer.
• Abstract（参考訳）: Meta-Learningは、関連する学習タスクから以前の経験を活用することで、よりデータ効率の高い推論を可能にする。 既存のメタラーニング手法は、データの不足に直面した予測の精度を向上させるのに役立ちますが、信頼性の高い不確実性推定は提供できません。 これらの欠点に対処するために,メタ学習を確率的プロセスとして扱うF-PACOHという新しいメタ学習フレームワークを導入し,関数空間内で直接メタレベル正規化を行う。 これにより、メタ学習データ不足領域における高い認識不確実性に向けて、メタ学習者の確率的予測を直接制御し、十分な不確実性推定を得ることができる。 最後に,信頼性の高い不確実性定量化が不可欠である逐次的意思決定と,我々のアプローチをどのように統合できるかを示す。 ベイズ最適化(BO)のメタラーニングに関するベンチマーク研究において、F-PACOHは他のメタラーナーや標準ベースラインよりも優れていた。 最適化タスクが一度に1つずつ到着し,メタラーナーが情報的事前知識を段階的に構築する必要がある,長寿命のBO設定においても,提案手法は強い肯定的伝達を示す。

関連論文リスト

• Conformal Meta-learners for Predictive Inference of Individual Treatment Effects [0.0]
  個別処理効果(ITE)における機械学習(ML)予測の問題点について検討する。 我々は,CATEメタラーナー上に標準共形予測(CP)手法を適用することで,ITTの予測区間を発行する一般的なフレームワークである共形メタラーナーを開発する。
  論文  参考訳（メタデータ） (2023-08-28T20:32:22Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Uncertainty-based Meta-Reinforcement Learning for Robust Radar Tracking [3.012203489670942]
  本稿では,不確実性に基づくメタ強化学習(Meta-RL)手法を提案する。 その複雑さに関する情報を用いて、提案アルゴリズムはトラッキングの信頼性を指摘することができる。 そこで本研究では,メタRL手法がピーク時の追跡シナリオを16%,ベースラインを35%上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-26T07:48:56Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
  メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。 コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。 ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
  論文  参考訳（メタデータ） (2022-10-03T08:38:38Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。