論文の概要: RADAR: Rubric-Aware Dependency and Redundancy Analysis for LLM-as-Judge Evaluation

• arxiv url: http://arxiv.org/abs/2608.01810v1
• Date: Mon, 03 Aug 2026 07:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.372498
• Title: RADAR: Rubric-Aware Dependency and Redundancy Analysis for LLM-as-Judge Evaluation
• Title（参考訳）: RADAR: LLM-as-Judge評価のためのルーブリック・アウェア依存と冗長性分析
• Abstract要約: 本稿では,行動結合評価基準を推定するための診断フレームワークであるRADARを紹介する。 ルリックが与えられた後、RADARはターゲットとなる合成プローブを生成し、全ての基準で各プローブをスコアし、方向結合行列を生成する。 RADARは、基準ごとに少数のプローブのみを使用して、人間の基準間の相関構造を復元する。
• 参考スコア（独自算出の注目度）: 3.339065092252818
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Rubric-based LLM-as-judge pipelines often assume that evaluation criteria provide independent signals. In practice, however, criteria can be behaviorally coupled: improving one criterion may systematically change scores on another, distorting aggregate scores used in model-release or product-update decisions. We introduce RADAR, a lightweight preflight diagnostic framework for estimating such coupling before large-scale evaluation. Given a rubric, RADAR generates targeted synthetic probes, scores each probe on all criteria, and produces a directional coupling matrix that shows which criteria co-score and how. We validate RADAR on three industry-relevant evaluation settings: NVIDIA HelpSteer2, SumPubMed, and the Yale-Salesforce SummEval benchmark. Using only a small number of probes per criterion, RADAR recovers human inter-criterion correlation structure (Pearson r > 0.84) and provides practitioners with concrete audit signals about redundancy, hierarchy, and aggregation sensitivity before committing to large-scale judging.
• Abstract（参考訳）: ルーブリックベースのLCM-as-judgeパイプラインは、評価基準が独立した信号を提供すると仮定することが多い。 1つの基準を改善することは、別の基準のスコアを体系的に変更し、モデルリリースまたは製品更新決定に使用される集計スコアを歪める可能性がある。 大規模評価の前にそのような結合を推定するための軽量な事前飛行診断フレームワークRADARを紹介する。 ルリックが与えられた後、RADARはターゲットとなる合成プローブを生成し、各プローブを全ての基準でスコアし、どの基準がコスコアでどのように動作するかを示す方向結合行列を生成する。 RADARはNVIDIA HelpSteer2、SumPubMed、Yale-Salesforce SummEvalベンチマークの3つの業界関連評価設定で検証する。 RADARは、基準あたりの少数のプローブのみを用いて、ヒトの基準間相関構造(Pearson r > 0.84)を復元し、大規模判定にコミットする前に、冗長性、階層性、凝集感受性に関する具体的な監査信号を提供する。

関連論文リスト

• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Position: Evaluation Scores Are Perishable Knowledge Claims [0.0]
  評価スコアは、形式性、スコープ、妥当性の3つの特性を持つクレームとして扱われるべきである。 HELMリーダーボードにおける平均アグリゲーションのコストについて説明する。
  論文  参考訳（メタデータ） (2026-07-28T18:50:39Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
  事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。 現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。 MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
  論文  参考訳（メタデータ） (2026-02-13T12:56:31Z)
• Autorubric: A Unified Framework for Rubric-Based LLM Evaluation [34.429649156970015]
  大規模言語モデル(LLM)を評価するための統一フレームワークを提案する。 この論文で提案されているオープンソースのPythonフレームワークであるAutorubricで、それぞれのテクニックが実現されている。 Autorubricは、重み付き二分、順序、および名目基準をサポートしており、多数派、重み付き、一対一、無投票のアグリゲーションによるシングルジャッジとマルチジャッジのアンサンブルの評価である。
  論文  参考訳（メタデータ） (2026-02-13T02:26:30Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• ReFINE: A Reward-Based Framework for Interpretable and Nuanced Evaluation of Radiology Report Generation [39.542375803362965]
  ReFINEは、放射線学レポート生成(R2Gen)に特化して設計された自動評価指標である。 ユーザが指定した基準に従ってレポートをスコアし、詳細なサブスコアを提供し、解釈可能性を高める。 実験では,従来の指標と比較して,人間の判断とReFINEの相関が高められ,モデル選択における優れた性能が示された。
  論文  参考訳（メタデータ） (2024-11-26T10:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。