論文の概要: ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP
- arxiv url: http://arxiv.org/abs/2308.02537v1
- Date: Tue, 1 Aug 2023 10:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 00:59:00.148701
- Title: ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP
- Title(参考訳): ALE:NLPにおけるクエリ戦略のパラメータ駆動比較のためのシミュレーションに基づくアクティブラーニング評価フレームワーク
- Authors: Philipp Kohl and Nils Freyer and Yoka Kr\"amer and Henri Werth and
Steffen Wolf and Bodo Kraft and Matthias Meinecke and Albert Z\"undorf
- Abstract要約: Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.024761040393842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised machine learning and deep learning require a large amount of
labeled data, which data scientists obtain in a manual, and time-consuming
annotation process. To mitigate this challenge, Active Learning (AL) proposes
promising data points to annotators they annotate next instead of a subsequent
or random sample. This method is supposed to save annotation effort while
maintaining model performance. However, practitioners face many AL strategies
for different tasks and need an empirical basis to choose between them. Surveys
categorize AL strategies into taxonomies without performance indications.
Presentations of novel AL strategies compare the performance to a small subset
of strategies. Our contribution addresses the empirical basis by introducing a
reproducible active learning evaluation (ALE) framework for the comparative
evaluation of AL strategies in NLP. The framework allows the implementation of
AL strategies with low effort and a fair data-driven comparison through
defining and tracking experiment parameters (e.g., initial dataset size, number
of data points per query step, and the budget). ALE helps practitioners to make
more informed decisions, and researchers can focus on developing new, effective
AL strategies and deriving best practices for specific use cases. With best
practices, practitioners can lower their annotation costs. We present a case
study to illustrate how to use the framework.
- Abstract(参考訳): 監視された機械学習とディープラーニングは大量のラベル付きデータを必要とし、データサイエンティストは手動で時間を要するアノテーションプロセスで取得する。
この課題を軽減するために、Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに期待できるデータポイントを提案する。
このメソッドは、モデルパフォーマンスを維持しながらアノテーションの労力を省くことが想定されている。
しかし、実践者は異なるタスクに対して多くのAL戦略に直面し、それらを選択するために経験的な基盤が必要です。
サーベイは、al戦略を性能表示なしで分類に分類する。
新たなAL戦略の提示は、パフォーマンスを戦略の小さなサブセットと比較する。
我々の貢献は、NLPにおけるAL戦略の比較評価のための再現可能なアクティブラーニング評価(ALE)フレームワークを導入することで、経験的基盤に対処する。
このフレームワークは、実験パラメータ(初期データセットサイズ、クエリステップ当たりのデータポイント数、予算など)を定義して追跡することで、少ない労力と公平なデータ駆動比較でal戦略の実装を可能にする。
研究者は、新しい効果的なal戦略を開発し、特定のユースケースのためにベストプラクティスを導出することに集中することができる。
ベストプラクティスでは、実践者はアノテーションのコストを下げることができる。
このフレームワークの使い方を説明するためのケーススタディを示す。
関連論文リスト
- Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳(メタデータ) (2024-01-18T08:12:23Z) - One Shot Learning as Instruction Data Prospector for Large Language
Models [111.0897473747819]
Nuggetsは、ワンショット学習を用いて、拡張データセットから高品質な命令データを選択する手法である。
提案手法は,Nuggets が生成した例の上位1%による命令チューニングが,全データセットを使用する従来の手法よりも大幅に優れていたことを実証する。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Learning to Learn for Few-shot Continual Active Learning [10.14157723705624]
メタコンチネンタルアクティブラーニング(Meta-Continual Active Learning)と呼ばれる,シンプルだが効率的な手法を提案する。
メタラーニングと経験リプレイを併用して、タスク間の混乱と破滅的な忘れを解消する。
提案手法の有効性を検証するため,テキスト分類データセットのベンチマーク実験を行った。
論文 参考訳(メタデータ) (2023-11-07T05:22:11Z) - MeanAP-Guided Reinforced Active Learning for Object Detection [34.19741444116433]
本稿では,オブジェクト検出のためのMeanAP誘導強化能動学習について紹介する。
LSTMアーキテクチャに基づいて構築されたエージェントは、その後のトレーニングインスタンスを効率的に探索し、選択する。
我々は、一般的なベンチマーク、PASCAL VOC、MS COCOにおけるMAGRALの有効性を評価した。
論文 参考訳(メタデータ) (2023-10-12T14:59:22Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳(メタデータ) (2023-01-09T10:33:14Z) - An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。
我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。
分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
論文 参考訳(メタデータ) (2022-11-15T13:07:02Z) - Active Pointly-Supervised Instance Segmentation [106.38955769817747]
アクティブポイント制御型インスタンスセグメンテーション(APIS)という,経済的なアクティブな学習環境を提案する。
APISはボックスレベルのアノテーションから始まり、ボックス内のポイントを反復的にサンプリングし、オブジェクトに落ちているかどうかを問う。
これらの戦略で開発されたモデルは、挑戦的なMS-COCOデータセットに対して一貫したパフォーマンス向上をもたらす。
論文 参考訳(メタデータ) (2022-07-23T11:25:24Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳(メタデータ) (2022-01-07T02:46:35Z) - Meta Navigator: Search for a Good Adaptation Policy for Few-shot
Learning [113.05118113697111]
少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。
少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。
本稿では,メタナビゲータ(Meta Navigator)について紹介する。
論文 参考訳(メタデータ) (2021-09-13T07:20:01Z) - Cartography Active Learning [12.701925701095968]
本稿では,CAL(Cartography Active Learning)アルゴリズムを提案する。
CALは、トレーニング中の個々のインスタンス上でのモデルの振る舞いをプロキシとして利用して、ラベル付けの最も有益なインスタンスを見つける。
以上の結果から,CALはよりデータ効率のよい学習戦略を実現し,より少ないトレーニングデータで同等あるいはより良い結果を得ることができた。
論文 参考訳(メタデータ) (2021-09-09T14:02:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。