論文の概要: Meta-learning with an Adaptive Task Scheduler

• arxiv url: http://arxiv.org/abs/2110.14057v1
• Date: Tue, 26 Oct 2021 22:16:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 14:21:45.121262
• Title: Meta-learning with an Adaptive Task Scheduler
• Title（参考訳）: 適応型タスクスケジューリングによるメタ学習
• Authors: Huaxiu Yao, Yu Wang, Ying Wei, Peilin Zhao, Mehrdad Mahdavi, Defu Lian, Chelsea Finn
• Abstract要約: 既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
• 参考スコア（独自算出の注目度）: 93.63502984214918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To benefit the learning of a new task, meta-learning has been proposed to transfer a well-generalized meta-model learned from various meta-training tasks. Existing meta-learning algorithms randomly sample meta-training tasks with a uniform probability, under the assumption that tasks are of equal importance. However, it is likely that tasks are detrimental with noise or imbalanced given a limited number of meta-training tasks. To prevent the meta-model from being corrupted by such detrimental tasks or dominated by tasks in the majority, in this paper, we propose an adaptive task scheduler (ATS) for the meta-training process. In ATS, for the first time, we design a neural scheduler to decide which meta-training tasks to use next by predicting the probability being sampled for each candidate task, and train the scheduler to optimize the generalization capacity of the meta-model to unseen tasks. We identify two meta-model-related factors as the input of the neural scheduler, which characterize the difficulty of a candidate task to the meta-model. Theoretically, we show that a scheduler taking the two factors into account improves the meta-training loss and also the optimization landscape. Under the setting of meta-learning with noise and limited budgets, ATS improves the performance on both miniImageNet and a real-world drug discovery benchmark by up to 13% and 18%, respectively, compared to state-of-the-art task schedulers.
• Abstract（参考訳）: 新しいタスクの学習に役立てるために,様々なメタ学習タスクから学習した高度なメタモデルを伝達するメタ学習が提案されている。 既存のメタ学習アルゴリズムは、タスクが等しく重要であるという仮定の下で、一様確率でランダムにメタ学習タスクをサンプリングする。 しかし、メタトレーニングタスクの数が限られているため、タスクはノイズや不均衡を伴う可能性がある。 本稿では, メタモデルがこのような有害なタスクやタスクに支配されるのを防止するため, メタトレーニングプロセスのための適応型タスクスケジューラ(ATS)を提案する。 ATSでは,まず,候補タスク毎にサンプリングされる確率を予測し,次に使用するメタトレーニングタスクを決定するニューラルスケジューラを設計し,メタモデルの一般化能力を最適化するためにスケジューラを訓練する。 2つのメタモデル関連因子を神経スケジューラの入力として同定し、候補タスクの難易度をメタモデルに特徴付ける。 理論的には、この2つの要因を考慮に入れたスケジューラは、メタトレーニング損失と最適化ランドスケープを改善する。 ノイズと予算の制限によるメタラーニングの設定の下で、ATSは、最先端タスクスケジューラと比較して、miniImageNetと実世界の薬物発見ベンチマークの両方のパフォーマンスを最大13%と18%改善する。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• What Matters For Meta-Learning Vision Regression Tasks? [19.373532562905208]
  本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。 まず、オブジェクト発見とポーズ推定という2つの新しいカテゴリレベルの視覚回帰タスクを設計する。 第2に,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-09T17:28:16Z)
• ST-MAML: A Stochastic-Task based Method for Task-Heterogeneous Meta-Learning [12.215288736524268]
  本稿では,モデルに依存しないメタラーニング(MAML)を複数のタスク分布から学習するための新しい手法ST-MAMLを提案する。 そこで本研究では,ST-MAMLが2つの画像分類タスク,1つの曲線評価ベンチマーク,1つの画像補完問題,および実世界の温度予測アプリケーションにおいて,最先端の映像分類タスクに適合または優れることを示す。
  論文  参考訳（メタデータ） (2021-09-27T18:54:50Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization [47.7605527786164]
  メタ学習は、複数の関連するタスクからのデータを観察し、誘導バイアスを自動的に推論する。 本稿では,メタテスト中に目標タスク環境からタスクを抽出するトランスファーメタラーニングの問題を紹介する。
  論文  参考訳（メタデータ） (2020-11-04T12:55:43Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。