論文の概要: Improving Generalization in Meta-learning via Task Augmentation

• arxiv url: http://arxiv.org/abs/2007.13040v3
• Date: Wed, 9 Jun 2021 19:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 19:35:21.690115
• Title: Improving Generalization in Meta-learning via Task Augmentation
• Title（参考訳）: タスク拡張によるメタ学習の一般化改善
• Authors: Huaxiu Yao, Longkai Huang, Linjun Zhang, Ying Wei, Li Tian, James Zou, Junzhou Huang, Zhenhui Li
• Abstract要約: 本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
• 参考スコア（独自算出の注目度）: 69.83677015207527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning has proven to be a powerful paradigm for transferring the knowledge from previous tasks to facilitate the learning of a novel task. Current dominant algorithms train a well-generalized model initialization which is adapted to each task via the support set. The crux lies in optimizing the generalization capability of the initialization, which is measured by the performance of the adapted model on the query set of each task. Unfortunately, this generalization measure, evidenced by empirical results, pushes the initialization to overfit the meta-training tasks, which significantly impairs the generalization and adaptation to novel tasks. To address this issue, we actively augment a meta-training task with "more data" when evaluating the generalization. Concretely, we propose two task augmentation methods, including MetaMix and Channel Shuffle. MetaMix linearly combines features and labels of samples from both the support and query sets. For each class of samples, Channel Shuffle randomly replaces a subset of their channels with the corresponding ones from a different class. Theoretical studies show how task augmentation improves the generalization of meta-learning. Moreover, both MetaMix and Channel Shuffle outperform state-of-the-art results by a large margin across many datasets and are compatible with existing meta-learning algorithms.
• Abstract（参考訳）: メタラーニングは、新しいタスクの学習を容易にするために、以前のタスクから知識を伝達する強力なパラダイムであることが証明されている。 現在の支配的アルゴリズムは、サポートセットを介して各タスクに適合する、よく一般化されたモデル初期化を訓練する。 crux は初期化の一般化能力を最適化するものであり、各タスクのクエリ集合に対する適応モデルの性能によって測定される。 残念ながら、この一般化尺度は経験的な結果によって証明され、初期化を推進してメタトレーニングタスクに過度に適合させ、新しいタスクへの一般化と適応を著しく損なう。 この問題に対処するため,一般化を評価する際に,メタトレーニングタスクを「より多くのデータ」で積極的に強化する。 具体的には,metamix と channel shuffle の2つのタスク拡張手法を提案する。 MetaMixは、サポートセットとクエリセットの両方の機能とラベルを線形に結合する。 サンプルの各クラスについて、channel shuffleは、チャネルのサブセットを、異なるクラスから対応するサブセットにランダムに置き換える。 理論的研究は、タスク拡張がメタラーニングの一般化をどのように改善するかを示している。 さらに、metamixとchannel shuffleは、多くのデータセットで大きなマージンで最先端の結果を上回り、既存のメタラーニングアルゴリズムと互換性がある。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Information-Theoretic Generalization Bounds for Meta-Learning and Applications [42.275148861039895]
  メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
  論文  参考訳（メタデータ） (2020-05-09T05:48:01Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。