論文の概要: ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP
- arxiv url: http://arxiv.org/abs/2308.02537v1
- Date: Tue, 1 Aug 2023 10:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 00:59:00.148701
- Title: ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP
- Title（参考訳）: ALE:NLPにおけるクエリ戦略のパラメータ駆動比較のためのシミュレーションに基づくアクティブラーニング評価フレームワーク
- Authors: Philipp Kohl and Nils Freyer and Yoka Kr\"amer and Henri Werth and
Steffen Wolf and Bodo Kraft and Matthias Meinecke and Albert Z\"undorf
- Abstract要約: Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.024761040393842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised machine learning and deep learning require a large amount of
labeled data, which data scientists obtain in a manual, and time-consuming
annotation process. To mitigate this challenge, Active Learning (AL) proposes
promising data points to annotators they annotate next instead of a subsequent
or random sample. This method is supposed to save annotation effort while
maintaining model performance. However, practitioners face many AL strategies
for different tasks and need an empirical basis to choose between them. Surveys
categorize AL strategies into taxonomies without performance indications.
Presentations of novel AL strategies compare the performance to a small subset
of strategies. Our contribution addresses the empirical basis by introducing a
reproducible active learning evaluation (ALE) framework for the comparative
evaluation of AL strategies in NLP. The framework allows the implementation of
AL strategies with low effort and a fair data-driven comparison through
defining and tracking experiment parameters (e.g., initial dataset size, number
of data points per query step, and the budget). ALE helps practitioners to make
more informed decisions, and researchers can focus on developing new, effective
AL strategies and deriving best practices for specific use cases. With best
practices, practitioners can lower their annotation costs. We present a case
study to illustrate how to use the framework.
- Abstract（参考訳）: 監視された機械学習とディープラーニングは大量のラベル付きデータを必要とし、データサイエンティストは手動で時間を要するアノテーションプロセスで取得する。
この課題を軽減するために、Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに期待できるデータポイントを提案する。
このメソッドは、モデルパフォーマンスを維持しながらアノテーションの労力を省くことが想定されている。
しかし、実践者は異なるタスクに対して多くのAL戦略に直面し、それらを選択するために経験的な基盤が必要です。
サーベイは、al戦略を性能表示なしで分類に分類する。
新たなAL戦略の提示は、パフォーマンスを戦略の小さなサブセットと比較する。
我々の貢献は、NLPにおけるAL戦略の比較評価のための再現可能なアクティブラーニング評価(ALE)フレームワークを導入することで、経験的基盤に対処する。
このフレームワークは、実験パラメータ(初期データセットサイズ、クエリステップ当たりのデータポイント数、予算など)を定義して追跡することで、少ない労力と公平なデータ駆動比較でal戦略の実装を可能にする。
研究者は、新しい効果的なal戦略を開発し、特定のユースケースのためにベストプラクティスを導出することに集中することができる。
ベストプラクティスでは、実践者はアノテーションのコストを下げることができる。
このフレームワークの使い方を説明するためのケーススタディを示す。
関連論文リスト
- ALPBench: A Benchmark for Active Learning Pipelines on Tabular Data [18.553222868627792]
ラベル付きデータの予算額のみが手に入るような環境では、アクティブラーニングはラベル付けすべき最も情報性の高いデータポイントを選択するためのクエリ戦略を考案しようとする。
活発な学習文献において,このようなクエリ戦略が提案され,比較されている。
コミュニティは、異なるクエリ戦略のパフォーマンスを比較するための標準ベンチマークをまだ持っていない。
論文 参考訳（メタデータ） (2024-06-25T07:14:14Z) - Parameter-Efficient Active Learning for Foundational models [7.799711162530711]
基礎的な視覚変換器モデルは、多くの視覚タスクにおいて、驚くほどのショットパフォーマンスを示している。
本研究は,アクティブラーニング(AL)フレームワークにおけるパラメータ効率の良い微調整手法の適用に関する新たな研究である。
論文 参考訳（メタデータ） (2024-06-13T16:30:32Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳（メタデータ） (2023-01-09T10:33:14Z) - An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。
我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。
分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-15T13:07:02Z) - Active Pointly-Supervised Instance Segmentation [106.38955769817747]
アクティブポイント制御型インスタンスセグメンテーション(APIS)という,経済的なアクティブな学習環境を提案する。
APISはボックスレベルのアノテーションから始まり、ボックス内のポイントを反復的にサンプリングし、オブジェクトに落ちているかどうかを問う。
これらの戦略で開発されたモデルは、挑戦的なMS-COCOデータセットに対して一貫したパフォーマンス向上をもたらす。
論文 参考訳（メタデータ） (2022-07-23T11:25:24Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳（メタデータ） (2022-01-07T02:46:35Z) - Meta Navigator: Search for a Good Adaptation Policy for Few-shot
Learning [113.05118113697111]
少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。
少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。
本稿では,メタナビゲータ(Meta Navigator)について紹介する。
論文 参考訳（メタデータ） (2021-09-13T07:20:01Z) - Cartography Active Learning [12.701925701095968]
本稿では,CAL(Cartography Active Learning)アルゴリズムを提案する。
CALは、トレーニング中の個々のインスタンス上でのモデルの振る舞いをプロキシとして利用して、ラベル付けの最も有益なインスタンスを見つける。
以上の結果から,CALはよりデータ効率のよい学習戦略を実現し,より少ないトレーニングデータで同等あるいはより良い結果を得ることができた。
論文 参考訳（メタデータ） (2021-09-09T14:02:02Z) - Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
両レベル最適化によるデータ要約問題として,本手法を定式化する。
本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
論文 参考訳（メタデータ） (2020-10-19T16:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。