論文の概要: Scoping Review of Active Learning Strategies and their Evaluation Environments for Entity Recognition Tasks
- arxiv url: http://arxiv.org/abs/2407.03895v1
- Date: Thu, 4 Jul 2024 12:40:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 18:03:13.844283
- Title: Scoping Review of Active Learning Strategies and their Evaluation Environments for Entity Recognition Tasks
- Title（参考訳）: 実体認識タスクのためのアクティブラーニング戦略と評価環境のスコーピングレビュー
- Authors: Philipp Kohl, Yoka Krämer, Claudia Fohry, Bodo Kraft,
- Abstract要約: 我々は62の関連論文を分析し、106のアクティブラーニング戦略を特定した。
エクスプロイトベース(60倍)、探索ベース(14倍)、ハイブリッド戦略(32倍)の3つのカテゴリに分類した。
- 参考スコア（独自算出の注目度）: 0.6462260690750605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We conducted a scoping review for active learning in the domain of natural language processing (NLP), which we summarize in accordance with the PRISMA-ScR guidelines as follows: Objective: Identify active learning strategies that were proposed for entity recognition and their evaluation environments (datasets, metrics, hardware, execution time). Design: We used Scopus and ACM as our search engines. We compared the results with two literature surveys to assess the search quality. We included peer-reviewed English publications introducing or comparing active learning strategies for entity recognition. Results: We analyzed 62 relevant papers and identified 106 active learning strategies. We grouped them into three categories: exploitation-based (60x), exploration-based (14x), and hybrid strategies (32x). We found that all studies used the F1-score as an evaluation metric. Information about hardware (6x) and execution time (13x) was only occasionally included. The 62 papers used 57 different datasets to evaluate their respective strategies. Most datasets contained newspaper articles or biomedical/medical data. Our analysis revealed that 26 out of 57 datasets are publicly accessible. Conclusion: Numerous active learning strategies have been identified, along with significant open questions that still need to be addressed. Researchers and practitioners face difficulties when making data-driven decisions about which active learning strategy to adopt. Conducting comprehensive empirical comparisons using the evaluation environment proposed in this study could help establish best practices in the domain.
- Abstract（参考訳）: 我々は,自然言語処理(NLP)分野におけるアクティブラーニングのスコーピングレビューを行い,PRISMA-ScRガイドラインに従って次のように要約した。
デザイン: ScopusとACMを検索エンジンとして使用しました。
調査結果を2つの文献調査と比較し,検索品質について検討した。
我々は、エンティティ認識のためのアクティブラーニング戦略の導入や比較をピアレビューした英語の出版物を含めた。
結果:62件の関連論文を分析し,アクティブラーニング戦略を106件同定した。
エクスプロイトベース(60倍)、探索ベース(14倍)、ハイブリッド戦略(32倍)の3つのカテゴリに分類した。
その結果,F1スコアを評価指標として用いた。
ハードウェア (6x) と実行時間 (13x) に関する情報は時折含まれていた。
62の論文では、57の異なるデータセットを使用して、それぞれの戦略を評価した。
ほとんどのデータセットには新聞記事やバイオメディカル・医療データが含まれていた。
分析の結果,57のデータセットのうち26が一般公開されていることがわかった。
結論: 多くのアクティブな学習戦略が特定され、解決すべき重要なオープンな疑問がまだ解決されている。
研究者と実践者は、どのアクティブな学習戦略を採用するべきかに関するデータ駆動決定を行う際に困難に直面します。
本研究で提案した評価環境を用いて総合的な経験的比較を行うことは,ドメインにおけるベストプラクティスの確立に有効である。
関連論文リスト
- ALPBench: A Benchmark for Active Learning Pipelines on Tabular Data [18.553222868627792]
ラベル付きデータの予算額のみが手に入るような環境では、アクティブラーニングはラベル付けすべき最も情報性の高いデータポイントを選択するためのクエリ戦略を考案しようとする。
活発な学習文献において,このようなクエリ戦略が提案され,比較されている。
コミュニティは、異なるクエリ戦略のパフォーマンスを比較するための標準ベンチマークをまだ持っていない。
論文 参考訳（メタデータ） (2024-06-25T07:14:14Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。
我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文 参考訳（メタデータ） (2023-12-26T08:14:46Z) - Hierarchical Point-based Active Learning for Semi-supervised Point Cloud
Semantic Segmentation [48.40853126077237]
大規模ポイントクラウドデータをポイントワイドラベルで取得することは、労働集約的だ。
アクティブラーニングは、この目的を達成するための効果的な戦略の1つだが、まだ探索されていない。
本稿では,階層的なポイントベースアクティブラーニング戦略を開発する。
論文 参考訳（メタデータ） (2023-08-22T03:52:05Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-01T10:42:11Z) - A Matter of Annotation: An Empirical Study on In Situ and Self-Recall Activity Annotations from Wearable Sensors [56.554277096170246]
In-the-wildデータ収集に焦点をあてたユーザスタディにおいて,一般的な4つのアノテーション手法の評価と対比を行う実験的検討を行った。
実際の記録プロセス中に参加者がアノテートするユーザ主導のin situアノテーションと、各日の終わりに参加者が振り返ってアノテートするリコールメソッドの両方に対して、参加者は自身のアクティビティクラスと対応するラベルを選択できる柔軟性を持っていた。
論文 参考訳（メタデータ） (2023-05-15T16:02:56Z) - Less Is More: A Comparison of Active Learning Strategies for 3D Medical
Image Segmentation [0.0]
文献では様々なアクティブラーニング戦略が提案されているが、その効果はデータセットとトレーニングシナリオに大きく依存している。
医療宣言から得られた3つのデータセットに対して,いくつかのよく知られたアクティブラーニング戦略の性能を評価する。
論文 参考訳（メタデータ） (2022-07-02T14:27:58Z) - ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。
本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文 参考訳（メタデータ） (2022-05-10T15:39:11Z) - Rebuilding Trust in Active Learning with Actionable Metrics [77.99796068970569]
アクティブラーニング(AL)は研究の活発な領域であるが、プレッシャーのあるニーズにもかかわらず、業界ではほとんど使われない。
これは部分的には目的のずれによるものであり、研究は選択したデータセットで最高の結果を得るよう努力している。
積極的学習における産業実践者の信頼回復を支援するために,様々な活動可能な指標を提示する。
論文 参考訳（メタデータ） (2020-12-18T09:34:59Z) - Learning active learning at the crossroads? evaluation and discussion [0.03807314298073299]
アクティブラーニングは、人間の専門家がラベルを付けるのに役立つサンプルを予測することで、アノテーションコストを削減することを目指しています。
常にすべてのアプリケーションで他のすべてを上回る最高のアクティブ学習戦略はありません。
本稿では,最近のメタ学習アルゴリズムとマージンサンプリングを用いて学習した戦略を20のデータセットで比較したベンチマーク結果を示す。
論文 参考訳（メタデータ） (2020-12-16T10:35:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。