論文の概要: Using Human-LLM Disagreement to Improve Checklist-Based Quality Appraisal
- arxiv url: http://arxiv.org/abs/2608.20385v1
- Date: Tue, 30 Jun 2026 03:40:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.294409
- Title: Using Human-LLM Disagreement to Improve Checklist-Based Quality Appraisal
- Title（参考訳）: Human-LLM Disagreement を用いたチェックリストに基づく品質評価の改善
- Abstract要約: チェックリストに基づく評価において,大規模言語モデル(LLM)が人間の判断を近似できるかどうかを検討する。
チェックリスト項目によってパフォーマンスが大きく異なり,不明瞭な条件や条件が相違点を生じさせることがわかった。
人-LLMの不一致の分析は、問題のあるチェックリスト項目を特定し、研究合成の反復的改善を支援することを示唆している。
- 参考スコア（独自算出の注目度）: 0.598254511008749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic reviews rely on quality appraisal of included studies, a process that is time-consuming and sensitive to ambiguity in checklist criteria. Although large language models (LLMs) offer opportunities to support these tasks, appraisal checklists are typically treated as fixed inputs, and it remains unclear how their design affects agreement with expert judgments. Therefore, we investigate (1) whether LLMs can approximate human judgments in checklist-based appraisal and (2) whether patterns of human-LLM disagreement can be used to identify and improve ambiguous checklist items. Using the Guidelines for Reporting on Latent Trajectory Studies (GRoLTS) checklist, we compare LLM-generated assessments with expert annotations across three research topics and two checklist versions. Agreement is assessed using item-level accuracy, chance-corrected agreement, and preservation of study-level rank ordering. We find that performance varies substantially across checklist items, with ambiguous and conditional criteria producing the greatest disagreement. Revising these items improves both raw and chance-corrected agreement. Although item-level misclassifications persist, LLM-generated scores often preserve the relative ranking of studies when high-agreement items are retained. These results indicate that reliable LLM-assisted appraisal depends not only on model choice but also on checklist design. The findings suggest that analyzing human-LLM disagreement can help identify problematic checklist items and support the iterative improvement of research synthesis workflows.
- Abstract（参考訳）: 体系的なレビューは、チェックリストの基準における曖昧さに時間を費やし、敏感なプロセスである、含まれた研究の品質評価に依存している。
大きな言語モデル(LLM)はこれらのタスクをサポートする機会を提供するが、評価チェックリストは通常、固定された入力として扱われる。
そこで,(1)チェックリストに基づく評価においてLLMが人間の判断を近似できるかどうか,(2)不明瞭なチェックリスト項目の識別と改善にヒトとLLMの不一致パターンが利用できるかどうかを検討する。
The Guidelines for Reporting on Latent Trajectory Studies (GRoLTS) checklist, we compared the LLM- generated Assessments with expert annotations across three research topics and two checklist version。
合意は、項目レベルの正確性、確率補正された合意、および研究レベルのランク付けの保存を用いて評価される。
チェックリスト項目によってパフォーマンスが大きく異なり,不明瞭な条件や条件が相違点を生じさせることがわかった。
これらの項目の改訂は、生の合意と偶然の修正の両方を改善します。
項目レベルの誤分類は継続するが、LCMが生成したスコアは、高水準の項目が保持されている場合、研究の相対的なランクを保っていることが多い。
これらの結果から,LCMを用いた信頼性評価はモデル選択だけでなく,チェックリスト設計にも依存することがわかった。
その結果,人間-LLMの不一致の分析は,問題のあるチェックリスト項目の同定と,研究合成ワークフローの反復的改善を支援することが示唆された。
関連論文リスト
- Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Large language models for post-publication research evaluation: Evidence from expert recommendations and citation indicators [2.952559770088323]
大規模言語モデル(LLM)は、テキストコンテンツに基づいた自動研究評価のための新たな機会を提供する。
本研究では,LLMが専門家の判断や引用に基づく指標に対して出力をベンチマークすることで,ポストパブリケーションのピアレビュータスクをサポートできるかを検討する。
論文 参考訳（メタデータ） (2026-03-27T11:32:18Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - When LLMs Disagree: Diagnosing Relevance Filtering Bias and Retrieval Divergence in SDG Search [0.0]
大規模言語モデル(LLM)は、情報検索パイプラインに文書関連ラベルを割り当てるのにますます使われている。
LLMは境界線のケースにしばしば反対し、そのような不一致が下流の検索にどのように影響するかという懸念を提起する。
モデル不一致は体系的であり、ランダムではないことを示す。
本稿では,検索評価における分析対象として分類不一致を用いることを提案する。
論文 参考訳（メタデータ） (2025-07-02T20:53:51Z) - A Framework for Evaluating LLMs Under Task Indeterminacy [49.298107503257036]
大規模言語モデル(LLM)の評価は、評価コーパスの各項目に対して単一の正しい応答(ゴールドラベル)があると仮定することが多い。
タスク不確定性の下でLLMを評価するためのフレームワークを開発する。
論文 参考訳（メタデータ） (2024-11-21T00:15:44Z) - Limitations of Automatic Relevance Assessments with Large Language Models for Fair and Reliable Retrieval Evaluation [2.9180406633632523]
大規模言語モデル(LLM)は,自動関連性評価ツールとして注目されている。
近年の研究では、LLMに基づく評価が、人為的判断と高いシステムランキングの相関をもたらすことが示されている。
我々は,LLMによる判断が,上位評価システム間の順位差をいかに保っているか,また,人間の判断として相互に重要な評価を保っているかを検討する。
論文 参考訳（メタデータ） (2024-11-20T11:19:35Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。