論文の概要: BI-MAML: Balanced Incremental Approach for Meta Learning
- arxiv url: http://arxiv.org/abs/2006.07412v1
- Date: Fri, 12 Jun 2020 18:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 02:12:23.189341
- Title: BI-MAML: Balanced Incremental Approach for Meta Learning
- Title（参考訳）: BI-MAML:メタ学習のためのバランスの取れたインクリメンタルアプローチ
- Authors: Yang Zheng, Jinlin Xiang, Kun Su, Eli Shlizerman
- Abstract要約: 本稿では,複数のタスクを学習するための新しいバランス付きインクリメンタルモデルAgnostic Meta Learningシステム(BI-MAML)を提案する。
本手法では,従来のタスクを忘れることなく,新たなタスクにモデルを漸進的に適応させるメタ更新ルールを実装している。
本システムでは,数ショットでメタ更新を行い,その達成に成功している。
- 参考スコア（独自算出の注目度）: 9.245355087256314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel Balanced Incremental Model Agnostic Meta Learning system
(BI-MAML) for learning multiple tasks. Our method implements a meta-update rule
to incrementally adapt its model to new tasks without forgetting old tasks.
Such a capability is not possible in current state-of-the-art MAML approaches.
These methods effectively adapt to new tasks, however, suffer from
'catastrophic forgetting' phenomena, in which new tasks that are streamed into
the model degrade the performance of the model on previously learned tasks. Our
system performs the meta-updates with only a few-shots and can successfully
accomplish them. Our key idea for achieving this is the design of balanced
learning strategy for the baseline model. The strategy sets the baseline model
to perform equally well on various tasks and incorporates time efficiency. The
balanced learning strategy enables BI-MAML to both outperform other
state-of-the-art models in terms of classification accuracy for existing tasks
and also accomplish efficient adaption to similar new tasks with less required
shots. We evaluate BI-MAML by conducting comparisons on two common benchmark
datasets with multiple number of image classification tasks. BI-MAML
performance demonstrates advantages in both accuracy and efficiency.
- Abstract（参考訳）: 本稿では,複数のタスクを学習するための新しいバランス付きインクリメンタルモデルAgnostic Meta Learningシステム(BI-MAML)を提案する。
このメソッドはメタ更新ルールを実装し、古いタスクを忘れずに新しいタスクにインクリメンタルにモデルを適用する。
このような機能は、現在の最先端のMAMLアプローチでは不可能である。
これらの手法は、新しいタスクに効果的に適応するが、モデルにストリームされる新しいタスクが、以前に学習したタスクでモデルのパフォーマンスを劣化させる「破滅的な忘れる」現象に苦しむ。
私たちのシステムは、ほんの数ショットでメタアップデートを実行し、成功させます。
これを達成するための重要なアイデアは、ベースラインモデルのためのバランスのとれた学習戦略の設計です。
この戦略はベースラインモデルを様々なタスクで等しく機能するように設定し、時間効率を取り入れる。
バランスの取れた学習戦略により、BI-MAMLは既存のタスクの分類精度において、他の最先端モデルよりも優れていると同時に、より少ないショットで、類似した新しいタスクへの効率的な適応を実現することができる。
BI-MAMLは2つの共通ベンチマークデータセットと複数の画像分類タスクを比較して評価する。
BI-MAML性能は精度と効率の両方の利点を示す。
関連論文リスト
- ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。
我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2024-10-08T12:22:10Z) - MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。
MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。
我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-19T04:49:42Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - ST-MAML: A Stochastic-Task based Method for Task-Heterogeneous
Meta-Learning [12.215288736524268]
本稿では,モデルに依存しないメタラーニング(MAML)を複数のタスク分布から学習するための新しい手法ST-MAMLを提案する。
そこで本研究では,ST-MAMLが2つの画像分類タスク,1つの曲線評価ベンチマーク,1つの画像補完問題,および実世界の温度予測アプリケーションにおいて,最先端の映像分類タスクに適合または優れることを示す。
論文 参考訳（メタデータ） (2021-09-27T18:54:50Z) - On Fast Adversarial Robustness Adaptation in Model-Agnostic
Meta-Learning [100.14809391594109]
モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。
メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。
本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-20T22:03:04Z) - A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。
合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
論文 参考訳（メタデータ） (2020-11-13T06:41:22Z) - Structured Prediction for Conditional Meta-Learning [44.30857707980074]
構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。
タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。
実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
論文 参考訳（メタデータ） (2020-02-20T15:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。