論文の概要: Variable-Shot Adaptation for Online Meta-Learning

• arxiv url: http://arxiv.org/abs/2012.07769v1
• Date: Mon, 14 Dec 2020 18:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:42:52.924127
• Title: Variable-Shot Adaptation for Online Meta-Learning
• Title（参考訳）: オンラインメタ学習のための可変ショット適応
• Authors: Tianhe Yu, Xinyang Geng, Chelsea Finn, Sergey Levine
• Abstract要約: 従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
• 参考スコア（独自算出の注目度）: 123.47725004094472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot meta-learning methods consider the problem of learning new tasks from a small, fixed number of examples, by meta-learning across static data from a set of previous tasks. However, in many real world settings, it is more natural to view the problem as one of minimizing the total amount of supervision --- both the number of examples needed to learn a new task and the amount of data needed for meta-learning. Such a formulation can be studied in a sequential learning setting, where tasks are presented in sequence. When studying meta-learning in this online setting, a critical question arises: can meta-learning improve over the sample complexity and regret of standard empirical risk minimization methods, when considering both meta-training and adaptation together? The answer is particularly non-obvious for meta-learning algorithms with complex bi-level optimizations that may demand large amounts of meta-training data. To answer this question, we extend previous meta-learning algorithms to handle the variable-shot settings that naturally arise in sequential learning: from many-shot learning at the start, to zero-shot learning towards the end. On sequential learning problems, we find that meta-learning solves the full task set with fewer overall labels and achieves greater cumulative performance, compared to standard supervised methods. These results suggest that meta-learning is an important ingredient for building learning systems that continuously learn and improve over a sequence of problems.
• Abstract（参考訳）: 少数のメタラーニング手法では、以前のタスクのセットから静的データにまたがってメタラーニングすることで、小さな固定された数の例から新しいタスクを学習する問題を考える。 しかし、多くの実世界の環境では、新しいタスクを学ぶのに必要なサンプルの数とメタ学習に必要なデータ量の両方を、その問題を監督の総量を最小限に抑えるものとして見るのが自然である。 このような定式化は、タスクが順番に提示されるシーケンシャルな学習環境で研究することができる。 このオンライン環境でメタラーニングを研究する場合、メタラーニングは標準的な経験的リスク最小化手法のサンプル複雑さと後悔よりも改善できるか? この答えは、大量のメタトレーニングデータを必要とする複雑な二レベル最適化を持つメタ学習アルゴリズムには特に従わない。 この質問に答えるために、私たちは従来のメタ学習アルゴリズムを拡張して、シーケンシャルラーニングで自然に発生する可変ショット設定を扱います。 逐次学習問題において、メタラーニングは全体的なラベルの少ない全タスク集合を解き、標準的な教師付きメソッドに比べて累積性能が向上することを見出した。 これらの結果から,メタラーニングは一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。

関連論文リスト

• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• Meta-Meta Classification for One-Shot Learning [11.27833234287093]
  メタメタ分類(メタメタ分類)と呼ばれる,小さなデータ設定で学習する新しい手法を提案する。 このアプローチでは、学習者の集合を設計するために大量の学習問題を使用し、各学習者は高いバイアスと低い分散を持つ。 本研究では,一対一で一対一の分類課題に対するアプローチの評価を行い,従来のメタラーニングやアンサンブルアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-17T07:05:03Z)
• A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [0.0]
  メタラーニングはラーニング・トゥ・ラーン(Learning-to-Lern)とも呼ばれる。 メタラーニング手法は,ブラックボックスメタラーニング,メトリックベースメタラーニング,階層型メタラーニング,ベイズ的メタラーニングフレームワークである。
  論文  参考訳（メタデータ） (2020-04-17T03:11:08Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。