論文の概要: AURA: Adaptive Uncertainty-aware Refinement for LLM-as-a-Judge Auditing

• arxiv url: http://arxiv.org/abs/2606.19714v1
• Date: Thu, 18 Jun 2026 02:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.612186
• Title: AURA: Adaptive Uncertainty-aware Refinement for LLM-as-a-Judge Auditing
• Title（参考訳）: AURA: LLM-as-a-Judge Auditingのための適応的不確実性認識リファインメント
• Authors: Zilong Zhang, Yi-Ting Hung, Weiyi He, Junxi Zhang, Lei Ding, Chi-Kuang Yeh,
• Abstract要約: 本稿では,ペアワイドな言語モデルを監査するための適応的不確実性を考慮した改良フレームワークであるAURAを提案する。 AURAは、人間の一貫性のシグナルを反復的に学習し、信頼できる証拠を伝播し、不確実な比較を人間のレビューに優先する。 我々は, コンパクトな定式化, 安定な精錬手順, および合成および実対LLM-Awerデータの包括的評価を行う。
• 参考スコア（独自算出の注目度）: 5.259890149301948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as judges for open-ended generation, as large-scale human evaluation is often expensive and difficult to scale, yet their preferences remain imperfect proxies for human judgment. Existing auditing pipelines often assume that a reliable subset of examples or clean supervision signals are available beforehand, for example from human annotation, heuristic filtering, or the outputs of strong judges. In LLM evaluation, this assumption is fragile: the initial split may inherit judge bias, while human verification is typically too scarce to define stable groups at scale. We propose AURA, an adaptive uncertainty--aware refinement framework for auditing pairwise LLM--as--a--judge decisions under selected human verification. AURA iteratively learns a human-consistency signal, propagates reliable evidence, and prioritizes uncertain comparisons for human review. The key idea is to treat trust in a judge as a latent quantity that is progressively refined as evidence accumulates. We provide a compact formulation, a stable refinement procedure, and a comprehensive evaluation on both synthetic and real pairwise LLM-answer data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模人間の評価が高価でスケールが困難である場合が多いが、人間の判断には不完全なプロキシである。 既存の監査パイプラインは、例えば人間のアノテーション、ヒューリスティックなフィルタリング、強い裁判官の出力から、サンプルの信頼性の高いサブセットやクリーンな監視信号が事前に利用可能であると仮定することが多い。 LLM評価では、この仮定は脆弱であり、初期分割は判断バイアスを継承する可能性があるが、人間による検証は通常、スケールで安定なグループを定義するには不十分である。 本研究では,適応的不確実性を考慮したLLM-as-a-judge決定の監査のためのフレームワークであるAURAを提案する。 AURAは、人間の一貫性のシグナルを反復的に学習し、信頼できる証拠を伝播し、不確実な比較を人間のレビューに優先する。 鍵となる考え方は、裁判官に対する信頼を、証拠が蓄積されるにつれて徐々に洗練される潜在量として扱うことである。 我々は, コンパクトな定式化, 安定な精錬手順, および合成および実対LLM-Awerデータの包括的評価を行う。

関連論文リスト

• Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning [4.114698130306098]
  大規模言語モデル(LLM)は、スケーラブルな評価のための裁判官として、ますます使われています。 LLMは、意味的品質から切り離された体系的なバイアスを示す。 人間の監督は費用がかかり、典型的には選択的であり、信頼できる肯定的な判断を下すが、ほとんどの出力は損なわれず、品質が混ざり合っている可能性がある。
  論文  参考訳（メタデータ） (2026-06-17T13:26:04Z)
• From Blind Guess to Informed Judgment: Teaching LLMs to Evaluate Materials by Building Knowledge-Augmented Preference Signals [13.95417871252485]
  MaterEvalは専門家のルールに従って評価を行い、証拠を提供する。 本稿では,小規模サブセットの詳細なレビューから大規模迅速スクリーニングを分離する高速スロー推論手法を提案する。 その結果、エキスパートルールは学習可能な優先信号に体系的に変換され、低コストでデプロイ可能な評価モジュールが実現された。
  論文  参考訳（メタデータ） (2026-05-28T08:09:35Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Who can we trust? LLM-as-a-jury for Comparative Assessment [42.32900791516691]
  大規模言語モデル(LLM)は、自然言語生成評価のための自動評価器として、ますます採用されている。 LLMの判断はタスクや側面によって大きく異なるが、その判断確率は偏りがあり矛盾する可能性がある。 我々は,各審査員がアイテムランキングを共同で推定し,ペア比較だけで信頼性を判断する識別パラメータを導入する,Bradley-Terryモデルの拡張であるBT-sigmaを提案する。
  論文  参考訳（メタデータ） (2026-02-18T17:04:02Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Who Judges the Judge? LLM Jury-on-Demand: Building Trustworthy LLM Evaluation Systems [2.9141470183751674]
  スケーラブルでコンテキスト対応な評価のための動的学習ベースのフレームワークを提案する。 本手法は,LLM審査員が人間専門家といつ一致するかを評価するために,信頼度予測器のセットを訓練する。 要約およびRAGベンチマーク実験により,我々の動的陪審法は,単一判定基準と静的判定基準の両方よりも,人間の判断との相関が著しく高いことを示した。
  論文  参考訳（メタデータ） (2025-12-01T15:26:20Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• DAFE: LLM-Based Evaluation Through Dynamic Arbitration for Free-Form Question-Answering [12.879551933541345]
  大規模言語モデル評価のための動的アロケーションフレームワーク(DAFE)を提案する。 DAFEは2つの主要なLCM-as-judgesを採用し、不一致の場合のみ第3の仲裁を行う。 DAFEが一貫した、スケーラブルで、リソース効率の高いアセスメントを提供する能力を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。