論文の概要: Experts Rise Where LLMs Disagree: Using Cross-Model Disagreement to Target Expert Effort in LLM Codebook Revision for Large-Scale Annotation

• arxiv url: http://arxiv.org/abs/2609.26926v1
• Date: Tue, 22 Sep 2026 18:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.724972
• Title: Experts Rise Where LLMs Disagree: Using Cross-Model Disagreement to Target Expert Effort in LLM Codebook Revision for Large-Scale Annotation
• Title（参考訳）: LLMが否定する分野のエキスパートたち: LLMのコードブック改訂におけるエキスパートの努力を目標とするクロスモデル宣言の利用
• Abstract要約: 大きな言語モデル(LLM)は、強い意見の相違のあるケースを克服し、それに対応する専門家のフィードバックを引き出すことによって、堅牢なコードブックを開発するプロセスを高速化することができる。 LLMのコードブックリビジョンに対して,専門家がフィードバックを提供するための3つの方法を検討した。 実験の結果、Rationale Labeling は専門家のラベルに対して LLM-labeling の精度 (64.9%) が最も高く、専門家が改訂したコードブック (57.8%) を上回った。 我々の研究は、LSMが専門家の注意を戦略的に狙うために利用でき、ラベリング性能を犠牲にすることなく、数ヶ月のコードブックリビジョンを数日に短縮できることを示している。
• 参考スコア（独自算出の注目度）: 12.355309907792913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale text annotation brings expert insight to millions of documents, often through a codebook that AI annotators follow. Developing a robust codebook, however, takes months. Large language models (LLMs) could speed this process by applying an early codebook to the data, surfacing cases with strong LLM disagreement, and eliciting expert feedback to address them. We examined three ways experts can provide feedback for LLM codebook revision: (i) editing LLM-generated revisions driven by cross-LLM disagreement (Codebook Verifying), (ii) answering questions about LLM disagreements (Question Answering), and (iii) labeling disagreement cases with rationales (Rationale Labeling). Experiments on thousands of tutoring-session transcripts show that Rationale Labeling yielded the highest LLM-labeling accuracy (64.9%) against expert labels, outperforming the expert-revised codebook (57.8%). The best Question Answering setting also outperformed it (60.5%). Our work shows that LLMs can be used to strategically target expert attention, shortening months of codebook revision to days without sacrificing labeling performance.
• Abstract（参考訳）: 大規模なテキストアノテーションは、数百万のドキュメントに専門家の洞察をもたらす。 しかし、堅牢なコードブックの開発には数ヶ月を要する。 大規模言語モデル(LLM)は、初期のコードブックをデータに適用し、強力なLLM不一致のケースを克服し、それに対応する専門家のフィードバックを引き出すことで、このプロセスを高速化することができる。 LLMのコードブックリビジョンに対して,専門家がフィードバックを提供するための3つの方法を検討した。 (i)LLM間の不一致によるLCM生成リビジョンの編集(コードブック検証) 二 LLM不一致に関する質問に答えること(質問回答)及び 三 合理性のある不一致事例の表示(レータリーラベリング) 何千ものチュータリング・セッション・スクリプティングの実験では、Rationale Labeling は専門家のラベルに対して LLM-labeling の精度が最も高く(64.9%)、専門家が修正したコードブック(57.8%)を上回った。 最高の質問回答設定も60.5%で上回った。 我々の研究は、LSMが専門家の注意を戦略的に狙うために利用でき、ラベリング性能を犠牲にすることなく、数ヶ月のコードブックリビジョンを数日に短縮できることを示している。

関連論文リスト

• Same Scrutiny, More Time: Eye Tracking Insights into Reviewing LLM-Labelled Code [3.7910079742785787]
  We conduct a Wizard-of-Oz experiment to examine how software engineers behavior when code is clearly labeled as LLM- generated during a code review task。 コードレビューの徹底性は参加者にとって変わらなかったが、ラベル自体が注意に影響を及ぼすことを示すLCMに多くの時間を費やした。 実践者は、特定の基準に基づいてコードを評価したり、そのプロンプトを使ってレビューをガイドすることで、LLMをラベル付けしたコードに対するレビュー戦略にも適応した。
  論文  参考訳（メタデータ） (2026-06-25T01:23:05Z)
• Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks [18.695435335031355]
  複数のもっともらしい回答を持つ主観的アノテーションタスクでは、LCM出力のレビューはラベルの分布を変えることができる。 410種類のアノテーションと7000以上のアノテーションを用いた事前登録実験を行った。 その結果, LLM によるアノテーション提案をクラウドワーカーに提示することは, より迅速ではなく, 自己報告によるタスクへの信頼感を向上させることができた。
  論文  参考訳（メタデータ） (2025-07-21T17:29:21Z)
• CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks [63.562924932512765]
  LLM(Large Language Models)は、様々なコーディングタスクにおいて最先端の言語モデルである。 LLMは、他のモデルによって生成された応答の品質を評価し、比較する裁判官としても機能する。
  論文  参考訳（メタデータ） (2025-07-14T17:56:29Z)
• How Accurately Do Large Language Models Understand Code? [4.817546726074033]
  大規模言語モデル(LLM)は、コードの修復やテストといった開発後のタスクでますます使われています。 コードの理解の定量化は、その抽象的な性質と標準化されたメトリクスの欠如のために難しい。 本稿では,LLMのコード理解能力に関する大規模な実証的研究を行った。
  論文  参考訳（メタデータ） (2025-04-06T05:59:29Z)
• LONGCODEU: Benchmarking Long-Context Language Models on Long Code Understanding [69.93924733846576]
  Long code understanding benchmark LONGCODEU to evaluate LCLMs' long code understanding ability required for practical applications。 LCLMの性能は、長いコード長が32Kを超えると劇的に低下し、128K-1Mのコンテキストウィンドウよりもはるかに低下した。 我々の研究は、LCLMを最適化し、ソフトウェア工学の進歩を推進するための貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-03-06T12:02:31Z)
• HumanEvalComm: Benchmarking the Communication Competence of Code Generation for LLMs and LLM Agent [2.8391355909797644]
  大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。 LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。
  論文  参考訳（メタデータ） (2024-05-31T22:06:18Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。