論文の概要: Active$^2$ Learning: Actively reducing redundancies in Active Learning
methods for Sequence Tagging and Machine Translation
- arxiv url: http://arxiv.org/abs/2103.06490v1
- Date: Thu, 11 Mar 2021 06:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-12 14:59:31.454059
- Title: Active$^2$ Learning: Actively reducing redundancies in Active Learning
methods for Sequence Tagging and Machine Translation
- Title（参考訳）: Active$^2$ Learning: シーケンスタグと機械翻訳のためのアクティブラーニングメソッドの冗長性をアクティブに削減する
- Authors: Rishi Hazra, Parag Dutta, Shubham Gupta, Mohammed Abdul Qaathir,
Ambedkar Dukkipati
- Abstract要約: アクティブラーニング(AL)戦略は、マニュアルアノテーションの少数の例を反復的に選択することで、大量のラベル付きデータの必要性を減らす。
本稿では,al戦略が個別に例を選択することから,学習過程に寄与しない類似の例を選択できる可能性について論じる。
提案手法であるActive$mathbf2$ Learning (A$mathbf2$L)は,このような冗長な例を排除するために,ディープラーニングモデルに積極的に適応する。
- 参考スコア（独自算出の注目度）: 14.030275887949147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep learning is a powerful tool for natural language processing (NLP)
problems, successful solutions to these problems rely heavily on large amounts
of annotated samples. However, manually annotating data is expensive and
time-consuming. Active Learning (AL) strategies reduce the need for huge
volumes of labeled data by iteratively selecting a small number of examples for
manual annotation based on their estimated utility in training the given model.
In this paper, we argue that since AL strategies choose examples independently,
they may potentially select similar examples, all of which may not contribute
significantly to the learning process. Our proposed approach,
Active$\mathbf{^2}$ Learning (A$\mathbf{^2}$L), actively adapts to the deep
learning model being trained to eliminate further such redundant examples
chosen by an AL strategy. We show that A$\mathbf{^2}$L is widely applicable by
using it in conjunction with several different AL strategies and NLP tasks. We
empirically demonstrate that the proposed approach is further able to reduce
the data requirements of state-of-the-art AL strategies by an absolute
percentage reduction of $\approx\mathbf{3-25\%}$ on multiple NLP tasks while
achieving the same performance with no additional computation overhead.
- Abstract（参考訳）: ディープラーニングは自然言語処理(NLP)問題にとって強力なツールであるが、これらの問題に対するソリューションの成功は大量の注釈付きサンプルに大きく依存している。
しかし、手動でアノテートするデータは高価で時間を要する。
アクティブラーニング(al)戦略は、与えられたモデルのトレーニングにおける推定ユーティリティに基づいて手動アノテーションの少数の例を反復的に選択することによって、大量のラベル付きデータの必要性を低減する。
本稿では,al戦略が個別に例を選択することから,学習過程に寄与しない類似の例を選択できる可能性について論じる。
提案手法であるActive$\mathbf{^2}$ Learning (A$\mathbf{^2}$L)は,AL戦略によって選択された冗長な例を排除するために,ディープラーニングモデルに積極的に適応する。
A$\mathbf{^2}$L はいくつかの異なる AL 戦略と NLP タスクと併用することで広く適用可能であることを示す。
提案手法は,複数の NLP タスクに対する $\approx\mathbf{3-25\%}$ の絶対パーセンテージ削減によって,新たな計算オーバーヘッドなしで同じ性能を達成しながら,最先端の AL 戦略のデータ要件をさらに削減できることを実証した。
関連論文リスト
- Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Zero-shot Active Learning Using Self Supervised Learning [11.28415437676582]
我々は,反復的なプロセスを必要としないモデル非依存の新たなアクティブラーニング手法を提案する。
アクティブラーニングの課題に自己指導型学習機能を活用することを目的としている。
論文 参考訳（メタデータ） (2024-01-03T11:49:07Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-01T10:42:11Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳（メタデータ） (2023-06-25T02:39:19Z) - Improved Active Multi-Task Representation Learning via Lasso [44.607652031235716]
本稿では,L1-regularized-relevance-based(nu1$)戦略の優位性を示す。
また、サンプルコストに敏感な設定で$nu1$ベースの戦略の可能性を特徴付けます。
論文 参考訳（メタデータ） (2023-06-05T03:08:29Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳（メタデータ） (2023-05-23T20:15:56Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳（メタデータ） (2023-01-09T10:33:14Z) - A Simple Baseline for Low-Budget Active Learning [15.54250249254414]
簡単なk平均クラスタリングアルゴリズムは、低予算で最先端のアクティブな学習方法より優れていることを示す。
この方法は,画像分類に基づく低予算能動学習のための単純なベースラインとして利用することができる。
論文 参考訳（メタデータ） (2021-10-22T19:36:56Z) - Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。
定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。
MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
論文 参考訳（メタデータ） (2021-05-18T06:46:48Z) - Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。
本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。
提案するAL戦略は,他のAL戦略よりも有意差で優れている。
論文 参考訳（メタデータ） (2020-11-02T06:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。