論文の概要: Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification

• arxiv url: http://arxiv.org/abs/2007.05009v1
• Date: Thu, 9 Jul 2020 18:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 04:51:31.529400
• Title: Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification
• Title（参考訳）: 脳細胞分類のためのタスク強化型アクティブメタラーニング
• Authors: Pengyu Yuan, Aryan Mobiny, Jahandar Jahanipour, Xiaoyang Li, Pietro Antonio Cicalese, Badrinath Roysam, Vishal Patel, Maric Dragan, and Hien Van Nguyen
• Abstract要約: 本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
• 参考スコア（独自算出の注目度）: 8.998976678920236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (or DNNs) must constantly cope with distribution changes in the input data when the task of interest or the data collection protocol changes. Retraining a network from scratch to combat this issue poses a significant cost. Meta-learning aims to deliver an adaptive model that is sensitive to these underlying distribution changes, but requires many tasks during the meta-training process. In this paper, we propose a tAsk-auGmented actIve meta-LEarning (AGILE) method to efficiently adapt DNNs to new tasks by using a small number of training examples. AGILE combines a meta-learning algorithm with a novel task augmentation technique which we use to generate an initial adaptive model. It then uses Bayesian dropout uncertainty estimates to actively select the most difficult samples when updating the model to a new task. This allows AGILE to learn with fewer tasks and a few informative samples, achieving high performance with a limited dataset. We perform our experiments using the brain cell classification task and compare the results to a plain meta-learning model trained from scratch. We show that the proposed task-augmented meta-learning framework can learn to classify new cell types after a single gradient step with a limited number of training samples. We show that active learning with Bayesian uncertainty can further improve the performance when the number of training samples is extremely small. Using only 1% of the training data and a single update step, we achieved 90% accuracy on the new cell type classification task, a 50% points improvement over a state-of-the-art meta-learning algorithm.
• Abstract（参考訳）: ディープニューラルネットワーク(またはDNN)は、関心のあるタスクやデータ収集プロトコルが変更されたとき、入力データの分散変化に常に対処しなければならない。 ネットワークをゼロからトレーニングしてこの問題に対処することは、かなりのコストになる。 メタ学習は、これらの基本的な分散変化に敏感な適応モデルを提供することを目的としている。 本稿では,少数のトレーニング例を用いて,新しいタスクにdnnを効率的に適応させるタスク適応型アクティブメタラーニング(agile)手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 次に、ベイジアンドロップアウトの不確実性推定を用いて、モデルを新しいタスクに更新する際に最も難しいサンプルを積極的に選択する。 これにより、少ないタスクで学習し、限られたデータセットでハイパフォーマンスを達成することができる。 我々は、脳細胞分類タスクを用いて実験を行い、その結果をスクラッチからトレーニングした単純なメタラーニングモデルと比較する。 提案するタスク強化メタラーニングフレームワークは,学習サンプル数に制限のある単一勾配段階の後に,新たな細胞タイプを分類することができることを示す。 ベイズの不確実性を持つアクティブラーニングは,トレーニングサンプル数が非常に少ない場合,さらにパフォーマンスを向上させることができる。 トレーニングデータの1%と1回の更新ステップのみを用いて,新しい細胞型分類タスクにおいて90%の精度を達成し,最先端メタ学習アルゴリズムよりも50%ポイント改善した。

関連論文リスト

• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• TIDo: Source-free Task Incremental Learning in Non-stationary Environments [0.0]
  モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。 ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。 本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T02:19:45Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning [5.691930884128995]
  Model-Agnostic Meta-Learning (MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 タスク固有の学習者に対して,タスクの損失を最小限に抑えるパラメータの選択を適応的に学習する手法を提案する。 メソッド1はメタロス差を比較して重みを生成し、クラスが少ない場合の精度を向上させる。 方法2は、各タスクの相補的不確実性を導入し、元の勾配降下に基づいて複数の損失を重み付けする。
  論文  参考訳（メタデータ） (2022-08-17T08:11:51Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
  我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。 本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-01-28T00:19:13Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。