論文の概要: Learning to Learn for Few-shot Continual Active Learning

• arxiv url: http://arxiv.org/abs/2311.03732v4
• Date: Fri, 31 May 2024 03:07:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:31:38.642230
• Title: Learning to Learn for Few-shot Continual Active Learning
• Title（参考訳）: 絶え間ないアクティブラーニングの学習
• Authors: Stella Ho, Ming Liu, Shang Gao, Longxiang Gao,
• Abstract要約: 継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。 連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。 我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。
• 参考スコア（独自算出の注目度）: 9.283518682371756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning strives to ensure stability in solving previously seen tasks while demonstrating plasticity in a novel domain. Recent advances in continual learning are mostly confined to a supervised learning setting, especially in NLP domain. In this work, we consider a few-shot continual active learning setting where labeled data are inadequate, and unlabeled data are abundant but with a limited annotation budget. We exploit meta-learning and propose a method, called Meta-Continual Active Learning. This method sequentially queries the most informative examples from a pool of unlabeled data for annotation to enhance task-specific performance and tackle continual learning problems through meta-objective. Specifically, we employ meta-learning and experience replay to address inter-task confusion and catastrophic forgetting. We further incorporate textual augmentations to avoid memory over-fitting caused by experience replay and sample queries, thereby ensuring generalization. We conduct extensive experiments on benchmark text classification datasets from diverse domains to validate the feasibility and effectiveness of meta-continual active learning. We also analyze the impact of different active learning strategies on various meta continual learning models. The experimental results demonstrate that introducing randomness into sample selection is the best default strategy for maintaining generalization in meta-continual learning framework.
• Abstract（参考訳）: 継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。 連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。 本研究では,ラベル付きデータが不十分であり,ラベル付きデータが豊富だがアノテーションの予算が限られているような,数発の継続的なアクティブな学習環境について考察する。 我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。 本手法は,タスク固有のパフォーマンスを高め,メタオブジェクトによる継続的な学習問題に取り組むために,未ラベルデータのプールから最も情報に富んだ例を逐次検索する。 具体的には,メタラーニングと経験リプレイを用いて,タスク間の混乱と破滅的な忘れ込みに対処する。 さらに、経験的なリプレイやサンプルクエリによるメモリ過適合を回避するために、テキスト拡張を組み込むことにより、一般化を確実にする。 様々な分野のテキスト分類データセットのベンチマーク実験を行い、メタコンチネンタルアクティブラーニングの有効性と有効性を検証する。 また,様々なメタ連続学習モデルに対する各種能動学習戦略の影響も分析した。 実験結果から,サンプル選択にランダム性を導入することは,メタコンチネンタル学習フレームワークにおける一般化を維持するための最良のデフォルト戦略であることが示された。

関連論文リスト

• COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
  本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。 オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。 我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
  論文  参考訳（メタデータ） (2023-10-04T17:49:48Z)
• VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime Inference [36.61783715563126]
  生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。 ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。 本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:54:49Z)
• A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring [57.5099555438223]
  連続シナリオにおけるマルチラベル分類を初めて研究した。 タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。 我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-08-08T15:58:39Z)
• Reinforced Meta Active Learning [11.913086438671357]
  本稿では,データから直接情報提供度を学習する,オンラインストリームに基づくメタアクティブ学習手法を提案する。 本手法は、強化学習に基づいて、エピソードポリシー検索と文脈的バンディットアプローチを組み合わせたものである。 本研究では,本手法が既存の最先端手法よりも効率的にトレーニングサンプルを選択できることを実データで示す。
  論文  参考訳（メタデータ） (2022-03-09T08:36:54Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
  本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
  論文  参考訳（メタデータ） (2020-09-10T14:36:38Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。