論文の概要: On Data Efficiency of Meta-learning

• arxiv url: http://arxiv.org/abs/2102.00127v1
• Date: Sat, 30 Jan 2021 01:44:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 16:56:23.239463
• Title: On Data Efficiency of Meta-learning
• Title（参考訳）: メタ学習のデータ効率について
• Authors: Maruan Al-Shedivat, Liam Li, Eric Xing, Ameet Talwalkar
• Abstract要約: 私たちは、現代のメタ学習アルゴリズムの見落とされがちな側面、すなわちそのデータ効率を研究します。 本稿では,メタラーニング手法を評価するための新しいシンプルなフレームワークを提案する。 本稿では,アクティブなデータ選択を学習学習に取り入れたアクティブなメタラーニングを提案する。
• 参考スコア（独自算出の注目度）: 17.739215706060605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning has enabled learning statistical models that can be quickly adapted to new prediction tasks. Motivated by use-cases in personalized federated learning, we study the often overlooked aspect of the modern meta-learning algorithms -- their data efficiency. To shed more light on which methods are more efficient, we use techniques from algorithmic stability to derive bounds on the transfer risk that have important practical implications, indicating how much supervision is needed and how it must be allocated for each method to attain the desired level of generalization. Further, we introduce a new simple framework for evaluating meta-learning methods under a limit on the available supervision, conduct an empirical study of MAML, Reptile, and Protonets, and demonstrate the differences in the behavior of these methods on few-shot and federated learning benchmarks. Finally, we propose active meta-learning, which incorporates active data selection into learning-to-learn, leading to better performance of all methods in the limited supervision regime.
• Abstract（参考訳）: メタラーニングにより、新しい予測タスクに素早く適応できる統計モデルを学習できるようになった。 パーソナライズされたフェデレーション学習のユースケースに動機づけられ、現代のメタ学習アルゴリズムのしばしば見過ごされがちな側面であるデータ効率の研究を行った。 どの手法がより効率的かを明らかにするため,我々はアルゴリズム安定性から重要な実践的意味を持つ伝達リスクの境界を導出する手法を用いて,各手法が求める一般化レベルを達成するためにどの程度の監督が必要か,どのように割り当てるべきかを示す。 さらに,メタラーニング手法を評価するための新しい簡易なフレームワークを提案するとともに,maml, reptile,protonetsの実証的な研究を行い,マイナショット学習ベンチマークおよびフェデレーション学習ベンチマークにおいて,これらの手法の挙動の違いを実証する。 最後に、アクティブデータ選択を学習から学習に組み込むアクティブメタラーニングを提案し、限られた監督体制ですべてのメソッドのパフォーマンスを向上させます。

関連論文リスト

• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning [1.3106063755117399]
  SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。 理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
  論文  参考訳（メタデータ） (2021-02-22T05:05:16Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• Double Meta-Learning for Data Efficient Policy Optimization in Non-Stationary Environments [12.45281856559346]
  我々は、マルチタスク学習問題とみなすことができる非定常環境の学習モデルに興味を持っている。 モデルなし強化学習アルゴリズムは、広範囲なサンプリングを犠牲にしてマルチタスク学習において優れた性能を達成することができる。 モデルベースのアプローチは最もデータ効率のよい学習アルゴリズムの1つだが、それでも複雑なタスクやモデルの不確実性に苦慮している。
  論文  参考訳（メタデータ） (2020-11-21T03:19:35Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• META-Learning Eligibility Traces for More Sample Efficient Temporal Difference Learning [2.0559497209595823]
  そこで本稿では,状態依存的な方法で,可視性トレースパラメータを調整するためのメタラーニング手法を提案する。 この適応は、更新対象の分布情報をオンラインで学習する補助学習者の助けを借りて達成される。 提案手法は,いくつかの前提条件下では,全体の目標誤差を最小限に抑えて,更新対象の全体的な品質を改善する。
  論文  参考訳（メタデータ） (2020-06-16T03:41:07Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。