論文の概要: Agent-as-a-Judge
- arxiv url: http://arxiv.org/abs/2611.18067v1
- Date: Fri, 13 Nov 2026 11:50:28 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:27:39.141602
- Title: Agent-as-a-Judge
- Title(参考訳): エージェント・アズ・ア・ジャッジ
- Abstract要約: 本稿は,LLMに基づく広い景観における検査プロセスの構築と制御について論じる。
複数エージェントのコラボレーション,ツールの統合,メモリ,計画によってデザイン空間を整理し,これらのメカニズムが検証の前提となるチェックや証拠をどのように提供するかを示す。
アプリケーションの要求とコスト、信頼性、安全性、ガバナンスにおけるオープンな課題を特徴付けることで、エージェントの審査員を大規模にデプロイすることを条件にしています。
- 参考スコア(独自算出の注目度): 20.902198303020693
- License:
- Abstract: Artificial intelligence has progressed from task-specific systems toward general models spanning perception, generation, reasoning, and autonomous interaction, making reliable evaluation essential for comparison, deployment, and post-training feedback. At scale, modern evaluation pipelines increasingly rely on LLM-as-a-Judge to produce scores, preferences, and critiques; in its fixed-context setting, the judge relies on the supplied evaluand and evaluation materials. Yet a reliable verdict may require evidence beyond the supplied evaluand and context---either because critical environmental states remain unrecorded in the static execution log, or because controversial factual claims require external verification. Passive judges cannot obtain that missing evidence before deciding, especially when evaluating agent trajectories, executable artifacts, or domain-specific reports. Recent work therefore develops active evaluators that seek missing evidence and update their grounds for judgment before deciding. We bring these advances together through Agent-as-a-Judge, focusing on how evaluators construct and control checking processes within the broader LLM-based judging landscape. We define the scope through evaluation-directed checks and the use of their results, covering both structured workflows and observation-driven control. We organize the design space by multi-agent collaboration, tool integration, memory, and planning, and show how these mechanisms supply the checks and evidence on which a verdict rests. We consolidate published scores and reproduce missing entries for key agentic judges; the comparison reveals uneven agentic gains and motivates dedicated agentic evaluation. We conclude by characterizing application demands and open challenges in cost, reliability, safety, and governance that condition trusted deployment of agentic judges at scale.
- Abstract(参考訳): 人工知能はタスク固有のシステムから、知覚、生成、推論、自律的相互作用にまたがる一般的なモデルへと進化し、比較、展開、訓練後のフィードバックに不可欠な信頼性の高い評価を実現している。
大規模な評価パイプラインにおいて、現代の評価パイプラインは、スコア、嗜好、批評を生成するためにLSM-as-a-Judgeに依存している。
しかし、信頼できる評決は、供給された評価と文脈を超えた証拠を必要とするかもしれない。なぜなら、重要な環境状態が静的な実行ログに記録されていないままであり、または議論を呼ぶ事実的主張が外部の検証を必要とするからである。
受動的裁判官は、特にエージェント・トラジェクトリ、実行可能アーティファクト、ドメイン固有のレポートを評価する際に、決定する前にその証拠を得られない。
それゆえ、最近の研究は、証拠の欠落を探し、判断する前に判断の根拠を更新する活発な評価器を開発する。
我々はこれらの進歩をエージェント・アズ・ア・ジャッジ(Agen-as-a-Judge)を通じてまとめ、より広いLLMに基づく判断環境における検査プロセスの構築と制御に焦点をあてる。
我々は、評価指向チェックと結果の使用を通じてスコープを定義し、構造化ワークフローと観察駆動制御の両方を網羅する。
複数エージェントのコラボレーション,ツールの統合,メモリ,計画によってデザイン空間を整理し,これらのメカニズムが検証の前提となるチェックや証拠をどのように提供するかを示す。
主要なエージェント・ジャッジに対して、出版されたスコアを集約し、欠落したエントリを再現し、不均一なエージェント・ゲインを明らかにし、専用のエージェント・アセスメントを動機付ける。
アプリケーションの要求とコスト、信頼性、安全性、ガバナンスにおけるオープンな課題を特徴付けることで、エージェントの審査員を大規模にデプロイすることを条件にしています。
関連論文リスト
- VeriCUA: Verification as Agentic Exploration for Computer-Using Agents [95.35011917414766]
コンピュータ利用エージェントの構築とスケーリングには、信頼性の高いタスク補完検証が必要である。
エージェント探索による検証のためのプラットフォームに依存しないフレームワークであるVeriCUAを提案する。
論文 参考訳(メタデータ) (2026-10-29T17:45:26Z) - VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning [80.69185348729495]
我々は,政策の共進化,訓練カリキュラム,審査を通じて検証をスケールする枠組みを導入する。
ポリシー改善ループは、繰り返し発生する障害を診断し、適応的なカリキュラムを構築し、ポリシーを最適化するためにルーリックな判断を使用する。
運転およびロボットナビゲーションタスクの実験は、ポリシーと判断能力の両方において継続的な自己改善を示す。
論文 参考訳(メタデータ) (2026-10-06T17:50:29Z) - Designing Reliable LLM-as-a-Judge Measurement Systems for Multi-Turn Business Agents [8.161545709715947]
本稿では,評価仕様,モジュール型LCM判断,ユーザシミュレーションの意図保存,ループ内ガバナンスを対象とする統合手法を提案する。
仕様では、会話レベルのエンドステートと実行可能な障害オーナシップを定義している。
研究によると、繰り返し監査によってシステムレベルの忠実度が向上し、共有フィードバックループの下で人間レビュアーと自動判断器が共に改善し、これらのワークフローが共に報告されたタスク補完設定において最も強い記述的パフォーマンスを示した。
論文 参考訳(メタデータ) (2026-09-27T21:52:05Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳(メタデータ) (2026-05-18T04:03:18Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳(メタデータ) (2026-01-21T06:07:43Z) - The simulation of judgment in LLMs [32.57692724251287]
大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。
これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。
我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
論文 参考訳(メタデータ) (2025-02-06T18:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。