Fugu-MT 論文翻訳(概要): Annotator-Centric Active Learning for Subjective NLP Tasks

論文の概要: Annotator-Centric Active Learning for Subjective NLP Tasks

arxiv url: http://arxiv.org/abs/2404.15720v3
Date: Fri, 21 Jun 2024 18:25:47 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 01:02:45.383160
Title: Annotator-Centric Active Learning for Subjective NLP Tasks
Title（参考訳）: 主観的NLP課題に対するアノテータ中心能動学習
Authors: Michiel van der Meer, Neele Falk, Pradeep K. Murukannaiah, Enrico Liscio,
Abstract要約: アクティブラーニング(AL)は、最も有益なサンプルを戦略的に注釈付けすることで、人間のアノテーションを収集するコストに対処する。本稿では,データサンプリングに続き,アノテーション選択戦略を取り入れたACAL(Annotator-Centric Active Learning)を提案する。本研究の目的は,人間の判断の多様性を効率的に近似し,アノテータ中心の指標を用いてモデル性能を評価することである。
参考スコア（独自算出の注目度）: 7.766754308448708
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Active Learning (AL) addresses the high costs of collecting human annotations by strategically annotating the most informative samples. However, for subjective NLP tasks, incorporating a wide range of perspectives in the annotation process is crucial to capture the variability in human judgments. We introduce Annotator-Centric Active Learning (ACAL), which incorporates an annotator selection strategy following data sampling. Our objective is two-fold: (1) to efficiently approximate the full diversity of human judgments, and (2) to assess model performance using annotator-centric metrics, which emphasize minority perspectives over a majority. We experiment with multiple annotator selection strategies across seven subjective NLP tasks, employing both traditional and novel, human-centered evaluation metrics. Our findings indicate that ACAL improves data efficiency and excels in annotator-centric performance evaluations. However, its success depends on the availability of a sufficiently large and diverse pool of annotators to sample from.
Abstract（参考訳）: アクティブラーニング(AL)は、最も有益なサンプルを戦略的に注釈付けすることで、人間のアノテーションを収集するコストに対処する。しかし、主観的NLPタスクでは、アノテーションプロセスに幅広い視点を取り入れることが人間の判断の多様性を捉える上で重要である。本稿では,データサンプリングに続き,アノテーション選択戦略を取り入れたACAL(Annotator-Centric Active Learning)を提案する。本研究の目的は,(1)人間の判断の多様性を効果的に近似すること,(2)アノテータ中心の指標を用いてモデル性能を評価すること,である。従来の評価指標と人間中心評価指標の両方を用いて、7つの主観的NLPタスクにまたがる複数のアノテータ選択戦略を実験した。以上の結果から,ACALはデータ効率を向上し,アノテータ中心の性能評価に優れることが示唆された。しかし、その成功は、十分に大きく多様なアノテータのプールがサンプルとして利用できることに依存している。

関連論文リスト

BAL: Balancing Diversity and Novelty for Active Learning [53.289700543331925]
多様な不確実なデータのバランスをとるために適応的なサブプールを構築する新しいフレームワークであるBalancing Active Learning (BAL)を導入する。我々のアプローチは、広く認識されているベンチマークにおいて、確立されたすべてのアクティブな学習方法より1.20%優れています。
論文参考訳（メタデータ） (2023-12-26T08:14:46Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
Active Transfer Learning for Efficient Video-Specific Human Pose Estimation [16.415080031134366]
ヒューマン・ポース(HP)推定は幅広い応用のために活発に研究されている。本稿では,アクティブラーニング(AL)とトランスファーラーニング(TL)を組み合わせて,HP推定器を個々のビデオ領域に効率よく適応させる手法を提案する。
論文参考訳（メタデータ） (2023-11-08T21:56:29Z)
ACTOR: Active Learning with Annotator-specific Classification Heads to Embrace Human Label Variation [35.10805667891489]
積極的学習は、アノテーションのコスト削減戦略として、不一致から学ぶという文脈で完全には研究されていない。アクティブな学習環境では、不確実性推定の観点から、マルチヘッドモデルの方がシングルヘッドモデルよりもはるかに優れていることを示す。
論文参考訳（メタデータ） (2023-10-23T14:26:43Z)
Which Prompts Make The Difference? Data Prioritization For Efficient Human LLM Evaluation [9.452326973655445]
計量に基づく手法は,必要なアノテーションの数を最小化することで,人間の評価の効率を向上させる。提案手法は,広く用いられているモデルファミリに対して有効であり,非決定的(あるいは"tie")な結果のインスタンスを最大54%削減できることを示す。この人的努力の潜在的な削減は、我々のアプローチを将来の大規模言語モデル評価における貴重な戦略として位置づけている。
論文参考訳（メタデータ） (2023-10-22T21:48:51Z)
ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-01T10:42:11Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文参考訳（メタデータ） (2023-01-09T10:33:14Z)
Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文参考訳（メタデータ） (2022-12-20T19:29:37Z)
Active Pointly-Supervised Instance Segmentation [106.38955769817747]
アクティブポイント制御型インスタンスセグメンテーション(APIS)という,経済的なアクティブな学習環境を提案する。 APISはボックスレベルのアノテーションから始まり、ボックス内のポイントを反復的にサンプリングし、オブジェクトに落ちているかどうかを問う。これらの戦略で開発されたモデルは、挑戦的なMS-COCOデータセットに対して一貫したパフォーマンス向上をもたらす。
論文参考訳（メタデータ） (2022-07-23T11:25:24Z)
Exploiting Meta-Cognitive Features for a Machine-Learning-Based One-Shot Group-Decision Aggregation [0.7340017786387767]
信頼に基づく手法のようなメタ認知情報に依存する手法は、様々なタスクにおいて改善された。本研究の目的は,メタ認知情報を活用し,そこから学習することである。
論文参考訳（メタデータ） (2022-01-20T15:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。