論文の概要: Debiasing as a Measurement Intervention: Calibrated Ties and Resolution Loss in LLM-as-a-Judge Evaluation

• arxiv url: http://arxiv.org/abs/2609.12439v1
• Date: Fri, 11 Sep 2026 04:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.625656
• Title: Debiasing as a Measurement Intervention: Calibrated Ties and Resolution Loss in LLM-as-a-Judge Evaluation
• Title（参考訳）: 測定介入としてのデバイアス:LCM-as-a-Judge評価における校正ティーと分解能損失
• Abstract要約: LLM-as-a-judgeプロトコルは、審査員にプレゼンテーションの手順を無視するように指示することで一般的にデバイアスされる。 この介入は測定器の分解能を損なうことなくバイアスを抑制することができることを示す。 本稿では,RAGにおける引用型アーティファクトの検査とエージェント・ワークフロー評価のための診断ベンチマークであるTraceJudgeBenchを紹介する。
• 参考スコア（独自算出の注目度）: 8.796833451421493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-judge protocols are commonly debiased by instructing judges to ignore presentation cues such as citation formatting, source labels, and evidence-display style. We show that this intervention can suppress bias while damaging the resolution of the measurement instrument. We introduce TraceJudgeBench, a diagnostic benchmark for auditing citation-like artifacts in RAG and agent-workflow evaluation, covering content-equivalent pairs, citation ablations, correctness conflicts, human-validated soft and moderate quality gaps, prompt-strength ladders, decoupled judging, and a controlled workflow-ranking probe. Across GPT-5.5, Claude Sonnet 4.6, and DeepSeek V4-Flash, stronger anti-citation prompts reduce worse-cited wins from up to 50.5% to 0%; yet some operating points already convert validated moderate-gap decisions into Tie before the strict stress-test endpoint, while correctness-conflict accuracy remains at or above 93.0%. A second, 50-pair FinQA moderate-gap construction reproduces the qualitative frontier, and open-weight Qwen2.5-14B-Instruct-AWQ and Gemma-3-12B-IT runs reproduce the central HotpotQA frontier. TRACE-style decoupling recovers 96.5-100.0% better-plain resolution across the reported settings. Human validation separates three meanings of Tie: correct equivalence Tie, calibrated soft-boundary Tie, and resolution-destroying Tie on validated quality gaps. We frame debiasing as a measurement intervention whose bias suppression, resolution retention, Tie cost, and protocol cost must be reported jointly. The supplementary artifact contains benchmark splits, prompts, raw judge outputs, validation summaries, and analysis.
• Abstract（参考訳）: LLM-as-a-judgeプロトコルは、審査員に引用フォーマット、ソースラベル、エビデンス-ディスプレイスタイルなどのプレゼンテーションキューを無視するように指示することで、一般的にデバイアスとなる。 この介入は測定器の分解能を損なうことなくバイアスを抑制することができることを示す。 本稿では,RAGにおける引用的アーティファクトの検査とエージェント・ワークフロー評価のための診断ベンチマークであるTraceJudgeBenchを紹介した。 GPT-5.5、Claude Sonnet 4.6、DeepSeek V4-Flash全体では、強い反励は、より酷い勝利を最大50.5%から0%まで減少させるが、一部の運用ポイントは、厳密なストレステストのエンドポイントの前に検証済みの中間ギャップ決定をTieに変換し、精度は93.0%以上である。 第2の50対のFinQA中間ギャップ構造は定性的フロンティアを再現し、オープンウェイトQwen2.5-14B-Instruct-AWQとGemma-3-12B-ITは中央HotpotQAフロンティアを再現する。 TRACEスタイルのデカップリングは、報告された設定で96.5-100.0%の解像度を回復する。 人間の検証はTieの3つの意味を分ける: 正同性Tie、校正ソフトバウンダリTie、および品質ギャップの分解分解能破壊Tieである。 我々は、バイアス抑制、解像度保持、ティーコスト、プロトコルコストを共同で報告する必要がある測定介入としてデバイアス処理を行う。 補足アーティファクトには、ベンチマークスプリット、プロンプト、生の判断出力、検証サマリー、分析が含まれている。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• Guaranteed Adaptive Modality Acquisition: When the Policy Chooses Its Own Calibration Group [0.0]
  マルチモーダルシステムは、入力のいくつかのみを保持する推論を開始し、残りをコストで取得することができる。 パターン条件保証が有効であり続けると特徴付け、2つの有限サンプル構成を与える。 逆例は、カリブレーション非依存のグルーピングマップに対して証明された保証が、ポリシーが端末群キャリブレーションに依存した場合、転送する必要はないことを示している。
  論文  参考訳（メタデータ） (2026-08-16T04:19:31Z)
• Denoising Iterative Self-Correction: Structured Verification Loops for Reliable LLM Reasoning [5.634990956257954]
  大規模言語モデルでは、流動的だがしばしば誤った多段階推論が生成され、単純補正法は、既に正しい答えを劣化させるリスクがある。 Denoising Iterative Self-Correction (DISC) は、検証された質問の出力を、解の破損箇所のノイズ測定として扱うテストタイムプロシージャである。 二分判定ゲートは、検証器と修正器が共に修理誤差を補う間、既に正しい答えを損なうような書き直しをブロックすることで補正精度を制御する。
  論文  参考訳（メタデータ） (2026-06-19T20:23:14Z)
• Relevant Is Not Warranted: Evidence-Force Calibration for Cited RAG [6.113159481005088]
  我々は,エビデンス・フォース・キャリブレーションのためのコントラストストレステストであるForceBENCHを紹介する。 各項目は引用された節を固定し、エビデンス校正されたクレームと局所的な力評価された変種をペアに持つ。 ヘッドライン実験は固定された局所フィルター付き198ペア評価セットを使用する。
  論文  参考訳（メタデータ） (2026-05-27T06:47:44Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
  医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。 本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。 texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
  論文  参考訳（メタデータ） (2026-02-19T16:45:38Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• LLMs Can Patch Up Missing Relevance Judgments in Evaluation [56.51461892988846]
  我々は、大きな言語モデル(LLM)を使って、不確定な文書を自動的にラベル付けします。 TREC DLトラックの関連性判定から関連文書をランダムにドロップすることで,穴の度合いの異なるシナリオをシミュレートする。 Vicuna-7B と GPT-3.5 Turbo の平均値に対して,Kendall tau の0.87 と 0.92 の相関式が得られた。
  論文  参考訳（メタデータ） (2024-05-08T00:32:19Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。