論文の概要: Benchmarking LLM Judges for Mobile Agent Evaluation

• arxiv url: http://arxiv.org/abs/2608.11434v1
• Date: Tue, 11 Aug 2026 21:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.375274
• Title: Benchmarking LLM Judges for Mobile Agent Evaluation
• Title（参考訳）: 移動エージェント評価のためのLLM判定のベンチマーク
• Abstract要約: 我々は,移動エージェント軌道上でのLCM-as-judge法の評価ベンチマークであるMobileJudgeBenchを紹介する。 ベンチマークは,6つのモバイルエージェントベンチマーク,4つのエージェントモデル,68のアプリにまたがる931の人的注釈付きトラジェクトリで構成されている。 まず、サンプルのスクリーンショットを持つ単純な基準判定器は、目的の手法と競合し、しばしば競合する。 第二に、ベンチマークの品質指標は現実世界の判断の有用性を確実に予測する。
• 参考スコア（独自算出の注目度）: 19.646382307148418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile agent benchmarks increasingly rely on LLM-based judges to evaluate task completion, yet the reliability of these judges on mobile agent trajectories remains largely unexamined. We introduce MobileJudgeBench, a benchmark for systematically evaluating LLM-as-judge methods on mobile agent trajectories. Our benchmark comprises 931 human-annotated trajectories spanning 6 mobile agent benchmarks, 4 agent models, and 68 apps. We evaluate 6 judge methods (five adapted from SPA-Bench, A3 with two modes, AndroidArena, and AgentRewardBench, plus a simple baseline we design) across multiple LLM backends. Our experiments reveal three key findings. First, a simple baseline judge with sampled screenshots is competitive with, and often exceeds, purpose-built methods, indicating that more elaborate judge pipelines do not consistently improve judge quality; among competitive methods, the LLM backbone is the primary driver. Second, benchmark quality metrics reliably predict real-world judge utility: they correlate with both agent ranking fidelity for evaluation and downstream performance when judges serve as reward signals for on-policy reinforcement learning. Third, failure analysis across two LLM backends uncovers qualitatively opposite failure profiles, one conservative and the other permissive, linked to the backbone's precision-recall characteristics.
• Abstract（参考訳）: モバイルエージェントベンチマークは、タスク完了を評価するためにLSMベースの判断にますます依存しているが、これらの判断のモバイルエージェントトラジェクトリへの信頼性はほとんど検討されていない。 我々は,移動エージェント軌道上でのLCM-as-judge法を体系的に評価するベンチマークであるMobileJudgeBenchを紹介する。 ベンチマークは,6つのモバイルエージェントベンチマーク,4つのエージェントモデル,68のアプリにまたがる931の人的注釈付きトラジェクトリで構成されている。 我々は,SPA-Bench,A3,AndroidArena,AgentRewardBenchの6つの判定手法を,複数のLLMバックエンドにまたがって評価した。 私たちの実験では3つの重要な発見が明らかになった。 まず、スクリーンショットをサンプリングした単純なベースラインのジャッジは、しばしば目的に作られたメソッドと競合し、より精巧なジャッジパイプラインが判定品質を継続的に改善しないことを示す。 第二に、ベンチマーク品質の指標は実世界の裁判官の効用を確実に予測する:それは、裁判官が政治的強化学習の報奨信号として機能するときに、評価のためのエージェントランキングの忠実度と下流のパフォーマンスの両方と相関する。 第3に、2つのLDMバックエンドの障害解析は、バックボーンの精度-リコール特性に関連付けられた、保守的かつ寛容な、定性的に反対の障害プロファイルを明らかにする。

関連論文リスト

• AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling [3.2665457005470504]
  LLM審査員はエージェントツール呼び出しシステムの評価に広く用いられているが、構造化された依存性駆動システムに対する信頼性はほとんど検討されていない。 本稿では,MLM-as-a-judge信頼性をワークフローDAG上でのエージェントツール呼び出しに対して体系的に研究する最初のベンチマークであるAgentJudgeBenchを提案する。
  論文  参考訳（メタデータ） (2026-08-27T05:20:22Z)
• Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment [0.764671395172401]
  AstraZenecaに配備された薬剤発見アシスタントChatInventのためのLCM-as-a-Judge評価フレームワークを提案する。 Gemini 3.1 Pro, Claude Opus 4.7, GPT-5, Llama 3.1 70B の5種類のアライメントアノテータを用いて審査を行った。 第三に、人間に注釈を付けた例の少数ショットのデモを用いて、最高のパフォーマンスの審査員を最適化し、人間の多数決との整合性を0.80から0.86に改善する。
  論文  参考訳（メタデータ） (2026-08-21T12:58:24Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
  Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。 安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
  論文  参考訳（メタデータ） (2026-03-05T17:27:07Z)
• References Improve LLM Alignment in Non-Verifiable Domains [118.26447686644808]
  基準誘導型LCM評価器がソフトな「検証器」として機能することでギャップを埋められるか検討する。 基準誘導手法は,フロンティアモデルからの参照を用いて,低能力のLCMジャッジの精度を大幅に向上することを示す。 基準誘導自己改善は、基準出力に対する直接SFTと基準自由判断による自己改善の両方に対して明らかな利得が得られることを示す。
  論文  参考訳（メタデータ） (2026-02-18T19:03:34Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning [54.85131761693927]
  意思決定前にLLM審査員に思考を教えるための強化学習フレームワークであるJ1を紹介する。 私たちのコアコントリビューションは、検証不可能で検証可能なプロンプトのすべての判断タスクを、検証可能な報酬を持った統一フォーマットに変換することです。 次に、RLを用いて8B、32B、70Bのスケールで思考判断を訓練し、彼らが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2025-05-15T14:05:15Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。