Fugu-MT 論文翻訳(概要): Automated Trajectory Evaluation for Mobile Agents via Step-Level Consequence Reasoning and Aggregation

論文の概要: Automated Trajectory Evaluation for Mobile Agents via Step-Level Consequence Reasoning and Aggregation

arxiv url: http://arxiv.org/abs/2608.20797v1
Date: Fri, 21 Aug 2026 07:16:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-24 14:49:32.431375
Title: Automated Trajectory Evaluation for Mobile Agents via Step-Level Consequence Reasoning and Aggregation
Title（参考訳）: ステップレベル推論と集約による移動エージェントの自動軌道評価
Abstract要約: 本稿では,モバイルエージェントの自動評価のための新しい2段階VLM-as-judgeフレームワークであるCRATEを紹介する。さらに、運用安全評価のためにCRATEをCRATE-Sに拡張する。 CRATEはAndroidWorldで0.833のF1スコアを獲得し、CRATE-SはMobileRiskで0.697のF1スコアに達した。
参考スコア（独自算出の注目度）: 23.628754736526975
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Evaluating language-guided mobile agents has recently shifted from rule-based to model-based approaches to achieve scalable and automated assessments. However, existing holistic evaluation paradigms process entire trajectories at once, leading to substantial context overload. Moreover, they primarily focus on task completion while overlooking operational safety. To address these limitations, we introduce CRATE, a novel two-stage VLM-as-judge framework for automated mobile agent evaluation that is compatible with both open- and closed-source models. Leveraging a step-level consequence reasoning mechanism, CRATE independently extracts task-relevant visual clues and infers action-conditioned state changes at each step. The resulting step-level textual evidence is then synthesized through trajectory-level aggregation to deliver an evidence-grounded evaluation of task completion. Building upon this evaluation scheme, we further extend CRATE to CRATE-S for operational safety assessment. Extensive experiments validate the effectiveness and robustness of both CRATE and CRATE-S. Powered by Qwen2.5-VL-72B-Instruct, CRATE achieves an F1-score of 0.833 on AndroidWorld (outperforming SPA-Bench by 20%), while CRATE-S reaches an F1-score of 0.697 on MobileRisk, demonstrating strong alignment with benchmark ground truths. Code is available at https://anonymous.4open.science/r/CRATE-D580.
Abstract（参考訳）: 言語誘導型モバイルエージェントの評価は、最近、スケーラブルで自動化された評価を実現するために、ルールベースのアプローチからモデルベースのアプローチに移行した。しかし、既存の全体論的評価パラダイムは、すべての軌道を一度に処理し、かなりのコンテキストオーバーロードをもたらす。さらに、運用上の安全性を見越しながら、主にタスクの完了に焦点を当てています。これらの制約に対処するため、オープンソースのモデルとクローズドソースモデルの両方と互換性のある、モバイルエージェントの自動評価のための新しい2段階のVLM-as-judgeフレームワークであるCRATEを紹介した。ステップレベルの結果推論機構を利用することで、CRATEはタスク関連視覚的ヒントを独立して抽出し、各ステップでアクション条件の状態変化を推測する。結果として得られた段階的なテキスト証拠は、軌道レベルのアグリゲーションによって合成され、エビデンスに基づくタスク完了の評価が提供される。この評価手法に基づいて、運用安全評価のためにCRATEをCRATE-Sに拡張する。 CRATEおよびCRATE-Sの有効性とロバスト性を検証する実験を行った。 Qwen2.5-VL-72B-Instructによって、CRATEはAndroidWorldで0.833のF1スコアを達成する(SPA-Benchを20%上回る)。コードはhttps://anonymous.4open.science/r/CRATE-D580で公開されている。

関連論文リスト

From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文参考訳（メタデータ） (2026-06-07T13:34:55Z)
VLA-ATTC: Adaptive Test-Time Compute for VLA Models with Relative Action Critic Model [54.35791816657227]
適応型テスト時間計算でVLAモデルを実現するフレームワークである textbfVLA-ATTC' を導入する。 VLA-ATTCは、不確実性に基づく認知クラッチ'を用いて、反射的実行からTTC熟考フェーズへ動的に移行する。 LIBERO-LONGベンチマークでは、VLA-ATTCはSOTAモデルPI0.5の故障率を50%以上削減する。
論文参考訳（メタデータ） (2026-05-02T02:13:11Z)
SAGE: A Service Agent Graph-guided Evaluation Benchmark [27.342044311161654]
本稿では,SAGE(Service Agent Graph-Guided Evaluation)を提案する。 SAGEは構造化されていないSOPを動的ダイアロググラフに形式化し、論理的コンプライアンスの正確な検証を可能にする。また、モデルが論理的失敗にもかかわらず丁寧な会話ファサードを維持する現象である「共感回復」も観察する。
論文参考訳（メタデータ） (2026-04-10T12:55:23Z)
From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation [32.41847293364159]
PRIMO R1はビデオMLLMをアクティブな「批判」に変換する7Bフレームワーク我々は、結果に基づく強化学習を活用して、進捗推定のための明示的な連鎖生成をインセンティブ化する。 67.0%の精度でRoboFailベンチマークの最先端のパフォーマンスを確立し、OpenAI o1のようなクローズドソースモデルを6.2%上回った。
論文参考訳（メタデータ） (2026-03-16T17:53:28Z)
How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs [49.61011897610774]
How2Everythingは、ゴール条件ドプロシージャの生成を評価し改善するフレームワークである。私たちのフレームワークには、14トピックにわたる980KのWebページから351KのプロシージャをマイニングするHow2Mineが含まれています。 How2Score(ハウ2スコア)は、LLMジャッジを使用して、世代が目標達成を阻止する重要な障害を含むかどうかを検出する評価プロトコルである。
論文参考訳（メタデータ） (2026-02-09T15:47:14Z)
A2Eval: Agentic and Automated Evaluation for Embodied Brain [26.357063836707223]
現在のVLMの評価は静的で専門家が定義し、手動で注釈付けされたベンチマークに依存している。 Agentic Automatic Evaluation (A2Eval)は、ベンチマークのキュレーションと2つの協調エージェントによる評価を自動化する最初のエージェントフレームワークである。 10のベンチマークと13のモデルで評価され、A2Evalは評価スイートを85%圧縮し、全体的な計算コストを77%削減し、4.6倍のスピードアップを提供する。
論文参考訳（メタデータ） (2026-02-02T04:55:27Z)
Trustworthy Evaluation of Robotic Manipulation: A New Benchmark and AutoEval Methods [30.612032540735402]
Eval-ActionsベンチマークとAutoEvalアーキテクチャを組み合わせたソリューションを提案する。このデータセットは、Expert Grading(EG)、Rang-Guided preferences(RG)、Chain-of-Thought(CoT)の3つのコア監視信号を中心に構成されている。 AutoEval は EG プロトコルと RG プロトコルでそれぞれ 0.81 と 0.84 のSpearman's Rank correlation Coefficients (SRCC) を達成している。
論文参考訳（メタデータ） (2026-01-26T17:47:42Z)
VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
論文参考訳（メタデータ） (2025-12-31T16:31:59Z)
CORE: Full-Path Evaluation of LLM Agents Beyond Final State [2.0391237204597368]
既存のエージェントベンチマークでは、最終状態のバイナリ判断に対する評価を少なくすることが多い。本稿では,タスクを有効なツール利用経路の集合として符号化する決定論的有限オートマトンに基づくフレームワークを提案する。 CORE(Path Correctness)、Path Correctness(Path Correctness)、Kendall's tau Composite(Kendall's tau Composite)、Prefix Criticality(Prefix Criticality)、Harmful-Call Rate(Harmful-Call Rate)、Efficency(Efficency)の5つのメトリクススイートを紹介します。
論文参考訳（メタデータ） (2025-09-25T10:49:35Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文参考訳（メタデータ） (2025-04-21T04:56:47Z)
TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
論文参考訳（メタデータ） (2024-10-15T11:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。