論文の概要: DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing

• arxiv url: http://arxiv.org/abs/2608.14950v1
• Date: Sat, 15 Aug 2026 00:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.134512
• Title: DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing
• Title（参考訳）: DA-RAC:信頼できるAI監査のためのLLM審査員の距離対応校正
• Abstract要約: DA-RAC(DA-RAC)は、LLM審査員のための距離対応基準アンコール式校正法である。 キャリブレーションを改善し、ゼロショット、チェーンオブ思想評価、静的アンカーベースラインに対する偽パスリスクを低減する。
• 参考スコア（独自算出の注目度）: 6.639255145889912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI systems are increasingly producing real-world artifacts, however their efficacy and validity are often evaluated via context-free LLM-scoring. These judges can be miscalibrated by irrelevant in-context reference examples, creating false confidence and allowing low-quality or harmful outputs to pass evaluation. We study this failure mode as context-induced miscalibration and introduce DA-RAC, a distance-aware reference-anchored calibration method for LLM judges. DA-RAC retrieves semantically and structurally similar labeled anchors for each judgement scenario, weights them by distance, and exposes neighborhood difficulty as a calibration and triage signal. On multi-run LLM-judge evaluation benchmarks, it improves calibration and reduces false-pass risk relative to zero-shot, chain-of-thought evaluation, and static-anchor baselines. Mechanistic analysis shows that judge scores vary systematically with anchor distance, while static references can induce misleading decision boundaries. Thus LLM-judgement requires not only better models, but also calibrated, auditable reference selection, especially when automated evaluation is used to support high-impact AI generated artifacts. Judgments should be grounded in relevant, inspectable, and contestable interpretive artifacts.
• Abstract（参考訳）: 生成AIシステムは現実のアーティファクトをますます生み出しているが、その有効性と有効性は、文脈のないLLM-scoringを通じて評価されることが多い。 これらの判断は、無関係な文脈内参照例によって誤解され、偽の自信を生み出し、低品質または有害なアウトプットが評価に合格することを許す。 我々は,この故障モードを文脈による誤校正として検討し,LLM審査員のための距離対応基準アンコレッド校正法であるDA-RACを導入する。 DA-RACは、各判断シナリオに対して意味的および構造的に類似したラベル付きアンカーを検索し、それらを距離で重み付けし、キャリブレーションとトリアージ信号として近隣の困難を露呈する。 マルチランLCM-judge評価ベンチマークでは、キャリブレーションを改善し、ゼロショット、チェーンオブ思想評価、静的アンカーベースラインに対する偽パスリスクを低減する。 力学解析により、判定スコアはアンカー距離によって体系的に変化し、静的参照は誤解を招く決定境界を誘導することを示した。 したがって、LCM-judgementは、より良いモデルだけでなく、校正され、監査可能な参照選択を必要とする。 判断は、関連性があり、検査可能で、議論の余地のある解釈可能なアーティファクトに基礎を置くべきである。

関連論文リスト

• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation [14.465019747508604]
  制約付き最大自由度推定(MLE)に基づくLLM故障率推定の新しい,実用的で効率的なアプローチを提案する。 我々は、予測パワー推論(PPI)のような最先端のベースラインに対して、包括的な実証研究を通じてアプローチを検証する。
  論文  参考訳（メタデータ） (2026-03-11T21:48:40Z)
• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
  Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。 安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
  論文  参考訳（メタデータ） (2026-03-05T17:27:07Z)
• Who can we trust? LLM-as-a-jury for Comparative Assessment [42.32900791516691]
  大規模言語モデル(LLM)は、自然言語生成評価のための自動評価器として、ますます採用されている。 LLMの判断はタスクや側面によって大きく異なるが、その判断確率は偏りがあり矛盾する可能性がある。 我々は,各審査員がアイテムランキングを共同で推定し,ペア比較だけで信頼性を判断する識別パラメータを導入する,Bradley-Terryモデルの拡張であるBT-sigmaを提案する。
  論文  参考訳（メタデータ） (2026-02-18T17:04:02Z)
• CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation [21.96013518286442]
  CAREは、判定スコアのための共同設立者対応アグリゲーションフレームワークである。 共有共同設立者の下で、識別可能性と有限サンプル回復に関する理論的保証を提供する。 CAREはアグリゲーションの精度を改善し、エラーを最大26.8%削減する。
  論文  参考訳（メタデータ） (2026-02-09T03:17:55Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• RULERS: Locked Rubrics and Evidence-Anchored Scoring for Robust LLM Evaluation [15.787947727055611]
  本稿では,自然言語ルーブを実行可能な仕様に変換するコンパイラ・エグゼクタフレームワークであるRULERSを紹介する。 RULERSは、基準をバージョニングされた不変バンドルにコンパイルし、決定論的証拠検証による構造化復号を強制し、軽量なワッサーシュタインベースのポストホックキャリブレーションを適用する。
  論文  参考訳（メタデータ） (2026-01-13T15:31:42Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。