論文の概要: Can LLM-as-a-Judge Reliably Verify Rubrics in Agentic Scenarios?

• arxiv url: http://arxiv.org/abs/2606.29920v1
• Date: Mon, 29 Jun 2026 07:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.118847
• Title: Can LLM-as-a-Judge Reliably Verify Rubrics in Agentic Scenarios?
• Title（参考訳）: エージェントシナリオにおけるLCM-as-a-Judgeの信頼性検証は可能か?
• Abstract要約: エージェントシナリオに対するルーリック検証において,LaaJの信頼性を評価する最初のベンチマークであるRuVerBenchを紹介する。 RuVerBenchは2つの一般的なエージェントドメイン、ディープリサーチとエージェントコーディングをカバーしており、それぞれがモデル生成出力、ルーリック、人間アノテーション付きラベルを含む2,458のインスタンスがある。 より弱いモデルは変化を促すためにより敏感であり、バッチ検証は精度と効率のトレードオフを示し、多数決は有効だがリターンは減少する。
• 参考スコア（独自算出の注目度）: 43.35973462024656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based scoring has become a widely used paradigm in model evaluation, typically with LLM-as-a-Judge (LaaJ) for rubric scoring. However, the reliability of LaaJ for rubric scoring remains underexplored. This concern is especially pronounced in agentic scenarios, where long, complex outputs further challenge reliable scoring. To address this, we conduct a systematic meta-evaluation of LaaJ reliability for rubric verification. We introduce RuVerBench, the first benchmark for assessing LaaJ reliability in rubric verification for agentic scenarios. RuVerBench covers two prevalent agentic domains, deep research and agentic coding, with 2,458 instances, each containing a model-generated output, a rubric, and a human-annotated label indicating whether the output satisfies the rubric. Using RuVerBench, we evaluate numerous frontier LLMs and find that even the most advanced models achieve strong performance but still exhibit substantial noise. We further analyze the impact of key LaaJ strategies, including prompt design, batching, and majority voting, on rubric verification. We find that weaker models are more sensitive to prompt variations, batched verification presents a trade-off between accuracy and efficiency, and majority voting yields effective but diminishing returns. We have released our dataset and code to facilitate future research: https://github.com/THU-KEG/RuVerBench.
• Abstract（参考訳）: LLM-as-a-Judge (LaaJ) のルーブリックスコアリングはモデル評価において広く用いられているパラダイムとなっている。 しかし, ルーブリックスコアリングにおけるLaaJの信頼性は未定である。 この懸念は、長く複雑な出力が信頼性のあるスコアリングにさらに挑戦するエージェントシナリオにおいて特に顕著である。 これを解決するために,我々は,ルーリック検証のためのLaaJ信頼性の体系的メタ評価を行う。 エージェントシナリオに対するルーリック検証において,LaaJの信頼性を評価する最初のベンチマークであるRuVerBenchを紹介する。 RuVerBenchは2つの一般的なエージェントドメイン、ディープリサーチとエージェントコーディングをカバーしており、それぞれがモデル生成出力、ルーブリック、そして出力がルーブリックを満足するかどうかを示す注釈付きラベルを含む2,458のインスタンスがある。 RuVerBench を用いて,多くのフロンティア LLM の評価を行い,最も高度なモデルでも高い性能を達成できるが,大きなノイズが生じることを発見した。 我々はさらに、急激な設計、バッチ化、多数決といったLaaJ戦略がルーリックな検証に与える影響について分析する。 より弱いモデルは変化を促すためにより敏感であり、バッチ検証は精度と効率のトレードオフを示し、多数決は有効だがリターンは減少する。 我々は、将来の研究を促進するためにデータセットとコードをリリースした。

関連論文リスト

• Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction [38.170020271877085]
  紙の再生のためのLCM生成ルーブリックの最初の体系的メタ評価について述べる。 ルーブリックをチェックリストスタイルのフォーマットに再構成し、2つのバックボーンモデル間で4世代設定を評価する。
  論文  参考訳（メタデータ） (2026-07-14T14:52:42Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
  大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。 この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。 本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
  論文  参考訳（メタデータ） (2026-03-21T17:10:14Z)
• Beyond Blind Spots: Analytic Hints for Mitigating LLM-Based Evaluation Pitfalls [2.4484932263697234]
  大規模言語モデルは、コード生成パイプラインの審査員(LaaJ)としてますます多くデプロイされている。 LaaJは、批判的な評価タスクにおける信頼性に関する懸念を提起するドメイン固有の問題を見逃す傾向があります。 我々は、実際に観察された30以上のドメイン固有の問題にフラグを付ける軽量な分析チェッカーツールを開発した。 我々はその出力を分析的ヒントとして使用し、それを裁判官に動的に注入することで、LaaJが見落としているかもしれない側面を再検討するよう促す。
  論文  参考訳（メタデータ） (2025-12-18T07:43:48Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• Bi'an: A Bilingual Benchmark and Model for Hallucination Detection in Retrieval-Augmented Generation [6.549143816134529]
  bftextBi'anはバイリンガルベンチマークデータセットと軽量判定モデルを備えた新しいフレームワークである。 データセットは、複数のRAGシナリオにわたる厳密な評価をサポートし、審査モデルは、コンパクトなオープンソースLLMから微調整される。
  論文  参考訳（メタデータ） (2025-02-26T15:12:59Z)
• Are Your LLMs Capable of Stable Reasoning? [38.03049704515947]
  G-Pass@$k$は、複数のサンプリング試行においてモデル性能を継続的に評価する新しい評価指標である。 私たちはG-Pass@$k$と最先端の大規模言語モデルを使って、その潜在能力と運用上の一貫性に関する包括的な洞察を提供しています。
  論文  参考訳（メタデータ） (2024-12-17T18:12:47Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。