Fugu-MT 論文翻訳(概要): Agreement Is Not Quality: Blind Expert Verification of Human and LLM Qualitative Coding When Human Consensus Is Not Ground Truth

論文の概要: Agreement Is Not Quality: Blind Expert Verification of Human and LLM Qualitative Coding When Human Consensus Is Not Ground Truth

arxiv url: http://arxiv.org/abs/2607.28890v1
Date: Thu, 30 Jul 2026 23:16:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-03 14:29:40.529711
Title: Agreement Is Not Quality: Blind Expert Verification of Human and LLM Qualitative Coding When Human Consensus Is Not Ground Truth
Title（参考訳）: 合意は品質ではない:人間とLLMの質的コーディングのブラインド専門家による検証
Abstract要約: LLM支援定性符号化の評価は、ほぼ普遍的に人間のコーダとの一致としてモデル性能を測定する。この研究は、基準値が検出できない方法で推定が失敗するという実証的な証拠を提供する。
参考スコア（独自算出の注目度）: 6.6356719812080796
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Evaluations of LLM-assisted qualitative coding almost universally measure model performance as agreement with human coders, a practice that presumes human coding is the standard to approximate. This study provides empirical evidence that the presumption fails in ways agreement metrics cannot detect. Five LLM systems and three trained human coders independently applied a 72-item hierarchical codebook to 2,560 educator messages from a K-12 AI platform. Beyond conventional agreement analysis, an independent domain expert judged 855 pairwise comparisons of code sets blind to source, treating human and machine sources symmetrically. The two evaluation approaches diverge in both directions. Human-LLM agreement (mean Jaccard 0.30) falls well below human-human agreement (0.52), which standard practice would read as inferior LLM coding, yet the blind verifier preferred human and LLM coding at indistinguishable rates (51.5% vs. 48.5%, p = 0.537), and a Bradley-Terry ranking placed two LLMs above two of three human coders. For several substantive codes, human consensus encoded shared bias that the verifier rejected in favor of the LLM interpretation. Agreement-based evaluation is therefore insufficient for automation decisions, and the study demonstrates a transferable verification protocol and a code-level division-of-labor framework.
Abstract（参考訳）: LLMを用いた定性的符号化の評価は、人間のコーダとの一致としてモデル性能をほぼ普遍的に測定する。この研究は、基準値が検出できない方法で推定が失敗するという実証的な証拠を提供する。 5つのLLMシステムと3つの訓練された人間のコーダは、72の階層的なコードブックをK-12 AIプラットフォームから2,560の教育者メッセージに独立して適用した。従来の合意分析以外にも、独立ドメインの専門家は、855のペアワイズ比較を判断し、人や機械のソースを対称に扱う。 2つの評価手法は両方向に分岐する。人間-LLM協定(平均ジャカード0.30)は、人間-人間の協定(0.52)よりはるかに低いが、盲点検証器は人間とLLMの符号を区別できないレート(51.5%対48.5%、p = 0.537)で好んでおり、ブラッドリー・テリーが3人のプログラマのうち2つより2つ上に位置する。いくつかの実体コードに対して、人間のコンセンサスは、検証者がLLM解釈を支持するために拒否した共有バイアスを符号化した。したがって、自動決定には合意に基づく評価が不十分であり、トランスファー可能な検証プロトコルとコードレベルの分割フレームワークを実証する。

関連論文リスト

Human-LLM Collaborative Inductive Coding for Conceptualizing K-12 Educator AI Use [6.6356719812080796]
大規模言語モデル (LLM) はしばしば分析アシスタントとして提案される。この記事では、K-12教育者と生成AIプラットフォーム間で交換された45,000のメッセージから階層的なコードブックを開発した、人間とLLMのコラボレーティブパイプラインについて説明する。コードブックは、体系的な人間のコーディングを通じてテストされ、教育領域の専門知識を持つ3人の訓練されたプログラマーが、2,560のメッセージの独立したサンプルにコードブックを適用した。
論文参考訳（メタデータ） (2026-07-30T23:16:20Z)
BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law [6.248207831601117]
BenGERデータセットは、複数のレベルの法学教育にまたがる596の試験スタイルのフリーテキストの訴訟タスクと、531の短い教義的推論タスクの3つのコンポーネントで構成されている。 12の現代LLMシステム – クローズドフラッグシップ,効率指向,オープンウェイト – を,自動および判断に基づくメトリクスで評価する。
論文参考訳（メタデータ） (2026-05-27T09:03:59Z)
BigCodeArena: Unveiling More Reliable Human Preferences in Code Generation via Execution [68.95247403447051]
BigCodeArenaは、包括的でオンザフライな実行環境を背景とした、コード生成のためのオープンなヒューマン評価プラットフォームである。 10の言語と8種類の実行環境にまたがる10のLLMで14,000以上の生のコード中心の会話セッションを収集しました。 BigCodeRewardでは、4700件の会話を後処理し、報酬モデルと人間の好みの一貫性を評価した。
論文参考訳（メタデータ） (2025-10-09T18:01:47Z)
Temperature and Persona Shape LLM Agent Consensus With Minimal Accuracy Gains in Qualitative Coding [0.0]
大規模言語モデル(LLM)は、大規模で定性的研究の新たな可能性を実現する。エージェントペルソナと温度形状コンセンサス構築に関する実験的検討を行った。我々は、人手による注釈書のゴールドスタンダードデータセットに対して、77,000以上のコーディング決定を解析する。
論文参考訳（メタデータ） (2025-07-15T11:06:32Z)
Evaluating and Aligning CodeLLMs on Human Preference [42.26173776584043]
実世界のコーディングタスクの複雑さと多様性をエミュレートするために,厳密な人為的なベンチマークであるCodeArenaを提案する。また,大規模合成命令微調整の有効性を検証するために,多種多様な合成命令コーパスSynCode-Instructを提案する。その結果、実行ベースのベンチマークとCodeArenaのパフォーマンスの違いが判明した。
論文参考訳（メタデータ） (2024-12-06T17:40:38Z)
Can Large Language Models Serve as Evaluators for Code Summarization? [47.21347974031545]
LLM(Large Language Models)は、コード要約手法の効果的な評価手法である。 LLMはエージェントに、コードレビュアー、コード作者、コードエディタ、システムアナリストなどの様々な役割を演じるよう促す。 CoDERPEは、人間の評価と81.59%のスピアマン相関を達成し、既存のBERTScoreの基準を17.27%上回った。
論文参考訳（メタデータ） (2024-12-02T09:56:18Z)
Human-Like Code Quality Evaluation through LLM-based Recursive Semantic Comprehension [39.277408536940825]
コード品質評価には、特定の問題ステートメントに対する参照コードに基づいて生成されたコード品質を評価することが含まれる。現在、コード品質の評価には、マッチベースの評価と実行ベースの評価の2つの主要な形態がある。
論文参考訳（メタデータ） (2024-11-30T01:49:25Z)
Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
論文参考訳（メタデータ） (2024-05-25T08:57:28Z)
Assured LLM-Based Software Engineering [51.003878077888686]
この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
論文参考訳（メタデータ） (2024-02-06T20:38:46Z)
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文参考訳（メタデータ） (2023-05-22T14:58:13Z)
G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
論文参考訳（メタデータ） (2023-03-29T12:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。