論文の概要: Large Language Models Are Effective Human Annotation Assistants, But Not Good Independent Annotators

• arxiv url: http://arxiv.org/abs/2503.06778v1
• Date: Sun, 09 Mar 2025 21:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:28.615198
• Title: Large Language Models Are Effective Human Annotation Assistants, But Not Good Independent Annotators
• Title（参考訳）: 大きな言語モデルは有効な人間のアノテーションアシスタントであるが、優れた独立アノテーションではない
• Authors: Feng Gu, Zongxia Li, Carlos Rafael Colon, Benjamin Evans, Ishani Mondal, Jordan Lee Boyd-Graber,
• Abstract要約: 関連のないドキュメントを削除し、同じイベントに関するドキュメントをマージし、イベントを注釈付けする包括的なワークフローを評価する。 LLMベースの自動アノテーションは従来のTF-IDFベースのメソッドやイベントセットキュレーションよりも優れているが、人間の専門家に比べて信頼性は低い。
• 参考スコア（独自算出の注目度）: 11.87004395457933
• License:
• Abstract: Event annotation is important for identifying market changes, monitoring breaking news, and understanding sociological trends. Although expert annotators set the gold standards, human coding is expensive and inefficient. Unlike information extraction experiments that focus on single contexts, we evaluate a holistic workflow that removes irrelevant documents, merges documents about the same event, and annotates the events. Although LLM-based automated annotations are better than traditional TF-IDF-based methods or Event Set Curation, they are still not reliable annotators compared to human experts. However, adding LLMs to assist experts for Event Set Curation can reduce the time and mental effort required for Variable Annotation. When using LLMs to extract event variables to assist expert annotators, they agree more with the extracted variables than fully automated LLMs for annotation.
• Abstract（参考訳）: イベントアノテーションは、市場の変化を特定し、最新ニュースを監視し、社会学的トレンドを理解するために重要である。 専門家のアノテータは金の基準を設定しているが、人間のコーディングは高価で非効率である。 単一のコンテキストに焦点を当てた情報抽出実験とは異なり、関係のないドキュメントを削除し、同じイベントに関するドキュメントをマージし、イベントを注釈する包括的なワークフローを評価する。 LLMベースの自動アノテーションは従来のTF-IDFベースのメソッドやイベントセットキュレーションよりも優れているが、人間の専門家に比べて信頼性は低い。 しかしながら、イベントセットキュレーションの専門家を支援するためにLLMを追加することで、可変アノテーションに必要な時間と労力を削減することができる。 LLMを使ってイベント変数を抽出してエキスパートアノテータを支援する場合、アノテーションのために完全に自動化されたLLMよりも、抽出された変数にもっと同意する。

関連論文リスト

• LLM-Assisted Relevance Assessments: When Should We Ask LLMs for Help? [20.998805709422292]
  テストコレクションは、研究者がランキングアルゴリズムを迅速かつ容易に評価できる情報検索ツールである。 より安価な代替手段として、近年の研究では、人間のアセスメントを完全に置き換えるための大規模言語モデル(LLM)が提案されている。 低予算下でも、リッチで信頼性の高いテストコレクションを構築するのに役立つ、手動アノテーションとLLMアノテーションのバランスをとる効果的な方法であるLARAを提案する。
  論文  参考訳（メタデータ） (2024-11-11T11:17:35Z)
• On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
  大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。 LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。 本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Refinement [6.39480325103865]
  イベント引数抽出(EAE)は、あるイベントのロール固有のテキストスパン(例えば、引数)を特定するタスクである。 本稿では,イベントの議論をよりコスト効率よく抽出する階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:13:28Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Using Large Language Models for Qualitative Analysis can Introduce Serious Bias [0.09208007322096534]
  大規模言語モデル(LLM)は急速に普及しつつあるが、社会科学研究の意義はまだよく分かっていない。 本稿では, バングラデシュのコックス・バザールにおけるロヒンギャ難民へのインタビューの書き起こしを応用して, オープンエンドインタビューから大規模Nの質的データを分析する上で, LLMが有効かどうかを問う。 LLMを使ってテキストに注釈を付けるには、誤解を招く可能性のあるバイアスを導入するリスクがあるため、非常に注意が必要であることが分かりました。
  論文  参考訳（メタデータ） (2023-09-29T11:19:15Z)
• Automated Annotation with Generative AI Requires Validation [0.0]
  生成型大規模言語モデル(LLM)は、テキストアノテーションの手順を増強するための強力なツールである。 LLMのアノテーションポテンシャルを原則的かつ効率的な方法で活用するためのワークフローを概説する。 テキストアノテーションのLLM性能は有望であるが,データセットとアノテーションの型の両方に高い関連性があることが判明した。
  論文  参考訳（メタデータ） (2023-05-31T20:50:45Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。