論文の概要: Learning to Learn for Few-shot Continual Active Learning
- arxiv url: http://arxiv.org/abs/2311.03732v2
- Date: Mon, 26 Feb 2024 05:59:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:57:24.414742
- Title: Learning to Learn for Few-shot Continual Active Learning
- Title(参考訳): 単発連続アクティブラーニングのための学習
- Authors: Stella Ho, Ming Liu, Shang Gao, Longxiang Gao
- Abstract要約: メタコンチネンタルアクティブラーニング(Meta-Continual Active Learning)と呼ばれる,シンプルだが効率的な手法を提案する。
メタラーニングと経験リプレイを併用して、タスク間の混乱と破滅的な忘れを解消する。
提案手法の有効性を検証するため,テキスト分類データセットのベンチマーク実験を行った。
- 参考スコア(独自算出の注目度): 10.14157723705624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning strives to ensure stability in solving previously seen
tasks while demonstrating plasticity in a novel domain. Recent advances in CL
are mostly confined to a supervised learning setting, especially in NLP domain.
In this work, we consider a few-shot continual active learning (CAL) setting
where labeled data are inadequate, and unlabeled data are abundant but with a
limited annotation budget. We propose a simple but efficient method, called
Meta-Continual Active Learning. Specifically, we employ meta-learning and
experience replay to address inter-task confusion and catastrophic forgetting.
We further incorporate textual augmentations to ensure generalization. We
conduct extensive experiments on benchmark text classification datasets to
validate the effectiveness of the proposed method and analyze the effect of
different active learning strategies in few-shot CAL setting. Our experimental
results demonstrate that random sampling is the best default strategy for
active learning and memory sample selection to solve few-shot CAL problems.
- Abstract(参考訳): 継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。
CLの最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。
本研究では,ラベル付きデータが不十分であり,ラベルなしデータが豊富だが,アノテーションの予算が限られている,数ショット連続型アクティブラーニング(CAL)について考察する。
メタContinual Active Learningと呼ばれる,シンプルだが効率的な手法を提案する。
具体的には,メタラーニングと経験リプレイを用いて,タスク間の混乱と破滅的な忘れ込みに対処する。
さらに、一般化を保証するためにテキスト拡張を取り入れます。
提案手法の有効性を検証するため,ベンチマークテキスト分類データセットの広範な実験を行い,数ショットCAL設定における様々なアクティブラーニング戦略の効果を分析する。
実験の結果,無作為サンプリングは能動的学習とメモリサンプル選択における最善のデフォルト戦略であることがわかった。
関連論文リスト
- Perturbation-based Active Learning for Question Answering [25.379528163789082]
アクティブラーニング(AL)トレーニング戦略を活用することで、アノテーションコストの少ない質問応答(QA)モデルを構築することができる。
モデルを効果的に更新するために、最も情報に富んだ未ラベルのトレーニングデータを選択する。
論文 参考訳(メタデータ) (2023-11-04T08:07:23Z) - NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating
True Coverage [3.4806267677524896]
ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。
擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。
提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-07T01:43:47Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳(メタデータ) (2022-11-24T13:18:27Z) - An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。
我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。
分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
論文 参考訳(メタデータ) (2022-11-15T13:07:02Z) - ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。
本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文 参考訳(メタデータ) (2022-05-10T15:39:11Z) - Reinforced Meta Active Learning [11.913086438671357]
本稿では,データから直接情報提供度を学習する,オンラインストリームに基づくメタアクティブ学習手法を提案する。
本手法は、強化学習に基づいて、エピソードポリシー検索と文脈的バンディットアプローチを組み合わせたものである。
本研究では,本手法が既存の最先端手法よりも効率的にトレーニングサンプルを選択できることを実データで示す。
論文 参考訳(メタデータ) (2022-03-09T08:36:54Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳(メタデータ) (2022-01-07T02:46:35Z) - Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。
これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。
積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
論文 参考訳(メタデータ) (2020-12-18T09:34:59Z) - Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
両レベル最適化によるデータ要約問題として,本手法を定式化する。
本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
論文 参考訳(メタデータ) (2020-10-19T16:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。