論文の概要: Practical Annotation Strategies for Question Answering Datasets

• arxiv url: http://arxiv.org/abs/2003.03235v1
• Date: Fri, 6 Mar 2020 14:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 01:20:09.973026
• Title: Practical Annotation Strategies for Question Answering Datasets
• Title（参考訳）: 質問応答データセットの実用的アノテーション戦略
• Authors: Bernhard Kratzwald, Xiang Yue, Huan Sun, Stefan Feuerriegel
• Abstract要約: そこで本研究では,ドメイン内および外部の両方のパフォーマンスを維持しつつ,アノテーションのコストを削減できるように,サブセットのアノテートのためのルールを開発する。 当社の作業は,予算のラベル付けが限定され,QAデータセットのアノテートに要する推奨がよりコスト効率良く必要となる場合に,現実的な要求を満たす。
• 参考スコア（独自算出の注目度）: 44.405498237885354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotating datasets for question answering (QA) tasks is very costly, as it requires intensive manual labor and often domain-specific knowledge. Yet strategies for annotating QA datasets in a cost-effective manner are scarce. To provide a remedy for practitioners, our objective is to develop heuristic rules for annotating a subset of questions, so that the annotation cost is reduced while maintaining both in- and out-of-domain performance. For this, we conduct a large-scale analysis in order to derive practical recommendations. First, we demonstrate experimentally that more training samples contribute often only to a higher in-domain test-set performance, but do not help the model in generalizing to unseen datasets. Second, we develop a model-guided annotation strategy: it makes a recommendation with regard to which subset of samples should be annotated. Its effectiveness is demonstrated in a case study based on domain customization of QA to a clinical setting. Here, remarkably, annotating a stratified subset with only 1.2% of the original training set achieves 97.7% of the performance as if the complete dataset was annotated. Hence, the labeling effort can be reduced immensely. Altogether, our work fulfills a demand in practice when labeling budgets are limited and where thus recommendations are needed for annotating QA datasets more cost-effectively.
• Abstract（参考訳）: 質問応答(QA)タスクにデータセットをアノテートするのは、集中的な手作業とドメイン固有の知識を必要とするため、非常にコストがかかる。 しかし、QAデータセットをコスト効率よくアノテートする戦略は乏しい。 課題のサブセットに注釈を付けるためのヒューリスティックなルールを開発することを目的としており、ドメイン内とドメイン外の両方のパフォーマンスを維持しつつアノテーションコストを削減できる。 そこで我々は,実践的なレコメンデーションを導き出すため,大規模な分析を行う。 まず、より多くのトレーニングサンプルがドメイン内テストセットのパフォーマンスの向上に寄与することがしばしばあるが、見当たらないデータセットへの一般化には役に立たないことを示す。 次に、モデル誘導型アノテーション戦略を開発し、どのサブセットに注釈を付けるべきかを推奨する。 臨床現場におけるQAのドメインカスタマイズに基づくケーススタディにおいて,その効果が示された。 驚くべきことに、最初のトレーニングセットのわずか1.2%で階層化されたサブセットにアノテートすることで、完全なデータセットがアノテートされたかのようにパフォーマンスの97.7%が達成される。 したがって、ラベリング労力を大幅に削減することができる。 また、予算のラベル付けが限定され、QAデータセットのアノテートがよりコスト効率良く必要となる場合、当社の作業は実践的な需要を満たす。

関連論文リスト

• How Much Data are Enough? Investigating Dataset Requirements for Patch-Based Brain MRI Segmentation Tasks [74.21484375019334]
  ディープニューラルネットワークを確実にトレーニングするには、大規模なデータセットへのアクセスが必要である。 モデル開発に関連する時間的・経済的コストを緩和するためには,満足度の高いモデルをトレーニングするために必要なデータの量を明確に理解することが重要である。 本稿では,パッチベースのセグメンテーションネットワークのトレーニングに必要なアノテートデータの量を推定するための戦略的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-04T13:55:06Z)
• Fine-tuning Strategies for Domain Specific Question Answering under Low Annotation Budget Constraints [4.273966905160028]
  低予算環境でQAモデルを微調整する最善の戦略は、事前訓練された言語モデル(PLM)を、ターゲットデータセットとSQuADデータセットからなるデータセットで微調整することです。 本実験は,QAシステムを低予算で微調整する方法に関する最初の調査の1つであり,QA実践者にとって最も実践的な関心事である。
  論文  参考訳（メタデータ） (2024-01-17T12:21:20Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Active Learning for Event Extraction with Memory-based Loss Prediction Model [12.509218857483223]
  イベント抽出は、多くの産業アプリケーションシナリオにおいて重要な役割を果たす。 イベントアノテーションのコストを削減するために,アクティブラーニング(AL)技術を導入する。 バッチベースの選択戦略とメモリベース損失予測モデル(MBLP)を提案し,ラベルのないサンプルを効率的に選択する。
  論文  参考訳（メタデータ） (2021-11-26T07:58:11Z)
• Pre-train or Annotate? Domain Adaptation with a Constrained Budget [25.44621972274297]
  固定予算が与えられた場合、NLP実践者はパフォーマンスを最大化するためにどのようなステップをとるべきだろうか? 3つの手続き的テキストデータセットのアノテーションコストと3つのドメイン内言語モデルの事前学習コストを測定する。 小さな予算では、アノテーションにすべての資金を費やすことが、最高のパフォーマンスにつながります。
  論文  参考訳（メタデータ） (2021-09-10T07:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。