論文の概要: Observational Equivalence of LLM and Human Annotation

• arxiv url: http://arxiv.org/abs/2609.22133v1
• Date: Mon, 24 Aug 2026 07:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.727055
• Title: Observational Equivalence of LLM and Human Annotation
• Title（参考訳）: LLMと人間のアノテーションの観察的等価性
• Abstract要約: LLMと人間のコーディングは、アノテーションの品質の観点から観察的に等価であることを示す。 本稿は、14のピアレビュー政治科学研究のテキスト分類タスクの複製を通してこれを実証する。 この等価性は、テキストやコーディングルールの曖昧さによって引き起こされる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we show that LLM and human coding are observationally equivalent in terms of annotation quality: recent LLMs agree with expert coders at rates comparable to those observed among experts themselves. We demonstrate this through replications of text-classification tasks from 14 peer-reviewed political science studies, in which ten LLMs, three human experts, and 165 crowdsourced workers independently classify the same texts using identical codebooks. We find that this equivalence is driven by ambiguity in the texts and coding rules. When LLMs disagree with experts, experts are also more likely to disagree with one another, and clarifying coding rules reduces disagreement among both experts and sufficiently capable LLMs. Thus, there is little empirical basis for preferring human coding on the basis of annotation quality alone, while LLMs offer substantial advantages in speed and cost. We therefore argue that the central challenge of text annotation is no longer choosing between human and machine coders, but developing coding rules that minimize ambiguity and accounting for the ambiguity that remains. To this end, we propose using disagreement across LLMs to identify difficult cases and refine codebooks, and we develop ambiguity-aware bounds for downstream inference when a unique annotation cannot be defined for every text.
• Abstract（参考訳）: 本稿では,LLMと人間のコーディングはアノテーションの品質の観点から観察的に等価であることを示し,近年のLCMは専門家自身と同等の速度で専門家コーダと一致している。 本稿は、14のピアレビューされた政治科学研究のテキスト分類タスクの複製を通じて、同じコードブックを用いて、10のLSM、3人の人間専門家、165人のクラウドソーシングワーカーが独立して同じテキストを分類する様子を実証する。 この等価性は、テキストやコーディングルールの曖昧さによって引き起こされる。 LLMが専門家と意見が一致しない場合、専門家は互いに意見が一致しがちであり、コーディングルールを明確にすることで、専門家と十分に有能なLLMの間での意見の相違が軽減される。 したがって、アノテーションの品質だけでは人間のコーディングを好むという実証的な根拠はほとんどなく、LSMはスピードとコストにおいてかなりの利点がある。 したがって、テキストアノテーションの中心的な課題は、もはや人間と機械のコーダの選択ではなく、あいまいさを最小化し、残されているあいまいさを考慮に入れたコーディングルールを開発することであると論じる。 そこで本研究では,LLM間の不一致を利用して難解なケースを特定し,コードブックを洗練し,各テキストに固有のアノテーションが定義できない場合に,下流推論のためのあいまいさを意識した境界を開発することを提案する。

関連論文リスト

• LLMs for Qualitative Data Analysis Fail on Security-specificComments in Human Experiments [12.772995358118507]
  大型言語モデル(LLM)は、人間のアノテーションを置き換えるのに理想的な候補である。 我々はLiveBench上での4つの最高性能LCMに、人間による自由テキストコメント中の9つのセキュリティ関連コードを検出するよう促す。 詳細なコード記述を使用する場合にのみ、顕著な改善が見られた。
  論文  参考訳（メタデータ） (2026-04-12T22:01:40Z)
• Text Annotation via Inductive Coding: Comparing Human Experts to LLMs in Qualitative Data Analysis [44.08932633077333]
  この研究は、6つのオープンソースの大規模言語モデル(LLM)の性能を、人間の専門家と比較して評価する。 人間のコーダーは、複雑な文をラベル付けするときに常にうまく機能するが、単純な文では苦労するが、LSMは反対の傾向を示す。
  論文  参考訳（メタデータ） (2025-11-17T13:03:27Z)
• IDEAlign: Comparing Large Language Models to Human Experts in Open-ended Interpretive Annotations [5.5560439396390455]
  大規模言語モデル(LLM)は、オープンエンドで解釈可能なアノテーションタスクにますます適用されている。 現在、アイデアの類似性の検証されたスケーラブルな尺度は存在しない。
  論文  参考訳（メタデータ） (2025-09-02T21:58:58Z)
• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• HumanEvalComm: Benchmarking the Communication Competence of Code Generation for LLMs and LLM Agent [2.8391355909797644]
  大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。 LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。
  論文  参考訳（メタデータ） (2024-05-31T22:06:18Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• SemEval-2023 Task 11: Learning With Disagreements (LeWiDi) [75.85548747729466]
  共有タスクのLeWiDiシリーズの第2版について報告する。 この第2版は幅広い参加者を集め、13のタスクの共用論文が提出された。
  論文  参考訳（メタデータ） (2023-04-28T12:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。