論文の概要: XBOUND: Exploring the Capability Boundaries of Device-Control Agents through Trajectory Tree Exploration

• arxiv url: http://arxiv.org/abs/2505.21279v1
• Date: Tue, 27 May 2025 14:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.728625
• Title: XBOUND: Exploring the Capability Boundaries of Device-Control Agents through Trajectory Tree Exploration
• Title（参考訳）: XBOUND: トラジェクトリーツリー探索によるデバイス制御エージェントの能力境界の探索
• Abstract要約: 本研究では, デバイス・コントロル・エージェント(DCエージェント)の評価手法について, 新たな視点を紹介する。 提案手法は,新しい探索距離の計算を用いて,DCエージェントの能力境界を導出するXBOUND評価手法を提案する。 我々はOS-AtlasシリーズとUI-TARSシリーズを評価し,5つの共通タスクの総合的および特定性能について検討した。
• 参考スコア（独自算出の注目度）: 73.87038197602268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in vision-language models (VLMs) have spurred increased interest in Device-Control Agents (DC agents), such as utilizing in-the-wild device control to manage graphical user interfaces. Conventional methods for assessing the capabilities of DC agents, such as computing step-wise action accuracy and overall task success rates, provide a macroscopic view of DC agents' performance; however, they fail to offer microscopic insights into potential errors that may occur in real-world applications. Conducting a finer-grained performance evaluation of DC agents presents significant challenges. This study introduces a new perspective on evaluation methods for DC agents by proposing the XBOUND evaluation method, which employs the calculation of a novel Explore Metric to delineate the capability boundaries of DC agents. Compared to previous evaluation methods, XBOUND focuses on individual states to assess the proficiency of DC agents in mastering these states. Furthermore, we have developed a ``pseudo'' episode tree dataset derived from Android Control test data. Utilizing this dataset and XBOUND, we comprehensively evaluate the OS-Atlas and UI-TARS series, examining both the overall and specific performance across five common tasks. Additionally, we select representative cases to highlight the current deficiencies and limitations inherent in both series. Code is available at https://github.com/sqzhang-lazy/XBOUND.
• Abstract（参考訳）: 近年の視覚言語モデル(VLM)の進歩は、グラフィカルユーザインタフェースを管理するためのデバイス制御など、デバイス・コントロル・エージェント(DCエージェント)への関心を高めている。 ステップワイズ動作精度や全体的なタスク成功率などのDCエージェントの能力を評価する従来の手法は、DCエージェントのパフォーマンスをマクロ的に評価するが、現実のアプリケーションで発生する可能性のある潜在的なエラーに関する顕微鏡的な洞察は得られない。 DCエージェントの性能評価を細粒度に行うことは大きな課題である。 本研究では,XBOUND評価手法を提案することで,DCエージェントの能力境界を定式化するために,新しいExplore Metricの計算手法を用いたDCエージェントの評価手法を提案する。 従来の評価手法と比較して、XBOUNDは個々の状態に焦点を当て、これらの状態の習得におけるDCエージェントの熟練度を評価する。 さらに,Android の制御テストデータを基にした <pseudo'' エピソードツリーデータセットを開発した。 このデータセットとXBOUNDを用いて、OS-AtlasおよびUI-TARSシリーズを包括的に評価し、5つの共通タスクにおける全体的なパフォーマンスと特定のパフォーマンスについて検討する。 さらに、両系列に固有の現在の欠陥と限界を強調する代表事例を選択する。 コードはhttps://github.com/sqzhang-lazy/XBOUND.comで入手できる。

関連論文リスト

• Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
  既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
  論文  参考訳（メタデータ） (2026-08-10T14:42:10Z)
• Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents [12.703661629160571]
  本稿では,自動的,動的,かつ使いやすい評価フレームワークであるAgentic CLEARを提案する。 エージェントの動作に関するテキストによる洞察を3つのレベル(システム、トレース、ノード)で生成する。 Agentic CLEARは可観測層の上で動作し、シームレスな統合と直感的なUIを特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T15:26:02Z)
• Exploring Interaction Paradigms for LLM Agents in Scientific Visualization [7.22431217973039]
  本稿では,大規模言語モデル(LLM)エージェントが科学的可視化(SciVis)タスクでどのように機能するかを検討する。 我々は、ドメイン固有のエージェントと構造化ツールの使用、コンピュータ利用エージェント、汎用コーディングエージェントの3つの主要な相互作用パラダイムを比較した。
  論文  参考訳（メタデータ） (2026-04-30T15:22:28Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• Mini-BEHAVIOR-Gran: Revealing U-Shaped Effects of Instruction Granularity on Language-Guided Embodied Agents [58.64789157580261]
  Mini-Behavior-Granは、組み込みAIにおける命令粒度の制御のための新しいベンチマークである。 クロスタスクの粒度定量化のための4つの候補指標を比較した。 トレーニングと評価の組織化に幅を用いると、命令の粒度と性能の非単調なU字型関係が明らかになる。
  論文  参考訳（メタデータ） (2026-04-18T14:57:51Z)
• GUIDE: Interpretable GUI Agent Evaluation via Hierarchical Diagnosis [17.279226216630065]
  軌道評価を3段階に分解するGUIDE(GUI Understanding and Interpretable Assessment Evaluation)を導入する。 サブタスク診断は、各ユニットを文脈で評価し、完了判定を割り当て、修正レコメンデーションで構造化されたエラー解析を生成する。 我々はGUIDEを,932トラジェクトリの産業用Eコマースデータセット,1302トラジェクトリの5つのWebエージェントタスクを対象としたAgentREWARDBENCH,モバイルデバイス制御用のAndroidBenchの3つのベンチマークで検証した。
  論文  参考訳（メタデータ） (2026-04-06T03:58:43Z)
• See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch [20.231957791642635]
  本稿では,Scratchにおけるプログラム・バイ・コンストラクションタスクにおけるマルチモーダルGUIエージェントの評価ベンチマークであるScratchWorldを紹介する。 ScratchWorldは、Create、Debug、Extended、Computeの4つの異なる問題カテゴリにまたがる83のキュレートされたタスクで構成されている。 信頼性の高い評価を実現するため,構築したScratchプログラムの機能的正当性を検証した実行ベース評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-11T12:54:53Z)
• ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
  デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。 本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。 OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
  論文  参考訳（メタデータ） (2026-02-06T19:55:26Z)
• Agentic Reward Modeling: Verifying GUI Agent via Online Proactive Interaction [7.731207237810125]
  VAGENは、対話ツールを備えた検証エージェントを使用して、自律的に検証戦略を計画するフレームワークである。 VAGEN は LLM-as-a-Judge ベースラインと比較して評価精度が有意に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-31T07:36:54Z)
• See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles [26.687510922403405]
  マルチモーダルエージェントの トグル制御命令を確実に実行できないことが 重要なボトルネックです 本研究では,現在のトグル状態を理解し,所望の状態を解析し,それに従って行動する訓練手法であるステートアウェア推論(StaR)を提案する。 3つのマルチモーダルエージェントの実験により、StaRは命令実行精度を30%以上改善できることが示された。
  論文  参考訳（メタデータ） (2025-09-17T01:14:14Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)
• AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
  AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。 私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。 AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-02T07:30:29Z)
• BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs [3.239200269731315]
  無人航空機(UAV)をベースとした身体エージェントは、自律的なタスクにおいて大きな可能性を秘めている。 UAV-EA(UAV-Embodied Agents)の現在の評価手法は、標準化されたベンチマークの欠如によって制限されている。 我々は,UAV-EAを評価するために設計された,体系的で標準化されたベンチマークであるBEDI(Benchmark for Embodied Drone Intelligence)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T12:14:00Z)
• A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions [4.904229981437243]
  コンピュータ利用エージェント(英: Agents for Computer Use, ACU)は、デジタルデバイス上で複雑なタスクを実行できるシステムである。 急速な進歩にもかかわらず、ACUはまだ日々の使用には成熟していない。
  論文  参考訳（メタデータ） (2025-01-27T15:44:02Z)
• TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction [29.72874725703848]
  大規模言語モデル(LLM)は、様々な垂直領域に徐々に展開されている。 現在の評価方法は、実世界の要求に合致しない静的でリソース集約的なデータセットに依存している。 textbfBenchmark+は従来の質問応答ベンチマークを、より柔軟な戦略基準のフォーマットに拡張します。 我々は,これらの概念を実装したエージェントベースの評価フレームワークであるtextbftextscTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• CableInspect-AD: An Expert-Annotated Anomaly Detection Dataset [14.246172794156987]
  $textitCableInspect-AD$は、カナダの公共ユーティリティであるHydro-Qu'ebecのドメインエキスパートによって作成、注釈付けされた高品質なデータセットである。 このデータセットには、現実世界の異常に挑戦する高解像度の画像が含まれており、さまざまな重度レベルの欠陥をカバーしている。 モデルの性能を評価するために,クロスバリデーションに基づく包括的評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T14:50:13Z)
• DMC-VB: A Benchmark for Representation Learning for Control with Visual Distractors [13.700885996266457]
  行動クローニングやオフライン強化学習(RL)を通じて収集されたデータから学習することは、ジェネラリストエージェントをスケールするための強力なレシピである。 オフラインRLエージェントの堅牢性を評価するため,DeepMind Control Visual Benchmark (DMC-VB) をDeepMind Control Suiteで収集した。 そこで,本研究では,事前学習のための表現学習手法を評価するための3つのベンチマークを提案し,最近提案したいくつかの手法の実験を行った。
  論文  参考訳（メタデータ） (2024-09-26T23:07:01Z)
• Deep Learning for Video Anomaly Detection: A Review [52.74513211976795]
  ビデオ異常検出(VAD)は、ビデオの正常性から逸脱する行動や事象を発見することを目的としている。 ディープラーニングの時代には、VADタスクには、さまざまなディープラーニングベースの方法が常に現れています。 このレビューでは、半教師付き、弱教師付き、完全教師付き、非教師付き、オープンセットの5つのカテゴリのスペクトルについて取り上げる。
  論文  参考訳（メタデータ） (2024-09-09T07:31:16Z)
• DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
  強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。 本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。 本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T09:15:21Z)
• Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
  異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。 この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。 セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:38:26Z)
• CCA: Collaborative Competitive Agents for Image Editing [55.500493143796405]
  本稿では,CCA(Collaborative Competitive Agents)の新たな生成モデルを提案する。 複数のLarge Language Models (LLM) ベースのエージェントを使って複雑なタスクを実行する。 この論文の主な貢献は、制御可能な中間ステップと反復最適化を備えたマルチエージェントベースの生成モデルの導入である。
  論文  参考訳（メタデータ） (2024-01-23T11:46:28Z)
• Diffusion-based Visual Counterfactual Explanations -- Towards Systematic Quantitative Evaluation [64.0476282000118]
  視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。 評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。 本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:22:37Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。