論文の概要: DevicesWorld: Benchmarking Cross-Device Agents in Heterogeneous Environments
- arxiv url: http://arxiv.org/abs/2607.13465v1
- Date: Wed, 15 Jul 2026 05:53:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.664218
- Title: DevicesWorld: Benchmarking Cross-Device Agents in Heterogeneous Environments
- Title（参考訳）: DevicesWorld:異種環境におけるクロスデバイスエージェントのベンチマーク
- Abstract要約: デバイス間協調操作のための大規模実行可能ベンチマークであるDevicesWorldを紹介する。
各タスクは自然言語のユーザ目標、参加デバイスと初期状態、実行可能なアクション、ルールベースの検証、クリーンアップ手順を定義する。
マルチステージの構築と品質管理パイプラインは、タスクを現実的なユーザニーズに近づけつつ、最終的な結果を自動的に検証します。
- 参考スコア（独自算出の注目度）: 28.931883857834038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agents have rapidly improved at operating individual digital environments such as mobile applications, desktop systems, and smart homes. However, real-world user goals often span multiple devices: information may come from a phone, be processed on a desktop, and the result may need to appear on another device. Most existing benchmarks center on a single dominant execution environment, making it difficult to evaluate whether agents can acquire and integrate information across heterogeneous devices and complete end-to-end tasks with cross-device dependencies. We introduce DevicesWorld, a large-scale executable benchmark for cross-device collaborative operation. DevicesWorld contains 6,140 tasks and integrates three classes of device environments -- mobile, desktop, and IoT -- into a unified cross-device interaction and evaluation framework. Each task defines a natural-language user goal, participating devices and initial states, executable actions, rule-based verifiers, and a cleanup procedure. A multi-stage construction and quality-control pipeline keeps tasks close to realistic user needs while allowing final outcomes to be automatically verified from device states and generated files. We evaluate five frontier LLM-agent systems on a fixed evaluation set. All methods achieve low success rates, with the best reaching only 12.5%. Among failed runs, about 28.7% satisfy at least one scoring condition yet still fail the full task. Trajectories show that agents become stuck acquiring information or manipulating interfaces, confuse source and output devices, or terminate before all conditions are jointly satisfied. DevicesWorld turns cross-device collaborative operation into an executable, reproducible, and diagnostically useful evaluation problem for research on reliable cross-device agents.
- Abstract（参考訳）: LLMベースのエージェントは、モバイルアプリケーション、デスクトップシステム、スマートホームなど、個々のデジタル環境の運用において急速に改善されている。
しかし、実際のユーザ目標はしばしば複数のデバイスにまたがる: 情報は携帯電話から来てデスクトップで処理され、その結果は他のデバイスに表示される必要がある。
既存のベンチマークのほとんどは、単一の支配的な実行環境に重点を置いているため、エージェントが異機種間での情報を取得し、統合し、デバイス間の依存関係を持つエンドツーエンドタスクを完了させるかどうかを評価することは困難である。
デバイス間協調操作のための大規模実行可能ベンチマークであるDevicesWorldを紹介する。
DevicesWorldには6,140のタスクが含まれており、モバイル、デスクトップ、IoTという3つのデバイス環境のクラスをデバイス間のインタラクションと評価の統一フレームワークに統合している。
各タスクは自然言語のユーザ目標、参加デバイスと初期状態、実行可能なアクション、ルールベースの検証、クリーンアップ手順を定義する。
マルチステージの構築と品質管理パイプラインは、タスクを現実的なユーザニーズに近く保ちながら、最終的な結果がデバイス状態と生成されたファイルから自動的に検証されるようにする。
固定評価セットを用いて,5つのフロンティアLDMエージェントシステムの評価を行った。
すべての手法が成功率を低くし、最高は12.5%である。
失敗したうち、28.7%は少なくとも1つのスコアリング条件を満たすが、それでもフルタスクに失敗している。
トラジェクトリは、エージェントが情報を取得するか、インターフェースを操作するか、ソースと出力装置を混乱させるか、または全ての条件が満たされる前に終了することを示す。
DevicesWorldは、デバイス間のコラボレーティブな操作を、信頼できるクロスデバイスエージェントの研究のために実行可能な、再現可能な、診断に有用な評価問題に変える。
関連論文リスト
- JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition [51.15720718264743]
プラットフォーム間の協調的なインタラクションを必要とするデバイス間通信におけるGUIエージェントの評価を行う動的ベンチマークであるJarvisGUIを紹介する。
JarvisGUIは、GUIタスクを軽量な型システムの下で入力出力変換として定式化し、複数ステップのクロスデバイス変換を自動的に構成する。
我々は、最先端のオープンソースGUIエージェントが、実際の使用に必要な状態遷移認識、クロスプラットフォームのコンテキスト推論、長期水平依存性管理に苦労していることを示します。
論文 参考訳（メタデータ） (2026-09-09T16:59:59Z) - DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。
我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。
我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
論文 参考訳（メタデータ） (2026-08-20T18:16:44Z) - Unified Agent: Managing Interactions across Devices [9.506915293237284]
AIエージェントは、ひとつのアプリ内で実行されるものから、時間の経過とともにユーザのデバイスをまたがる動作へと移行できることを示す。
これは、観測がデバイスや瞬間に分散しているためである。
エージェントは、エンゲージメント証拠、記述された事実、および待機要求を組織する、効果的に設計された状態を維持すべきである、と我々は主張する。
私たちはこの原理を、デバイスや瞬間間で相互作用証拠を伝達するステートフルエージェントであるUnified Agentでインスタンス化し、現在の観察と組み合わせて行動します。
論文 参考訳（メタデータ） (2026-08-06T08:14:33Z) - SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking [23.006082521142137]
SimuWoBは、さまざまなタイプと難易度にまたがる120の課題タスクを備えた、モバイルGUIエージェントのための完全な総合ベンチマークである。
我々は高忠実度タスクと環境を合成する堅牢な仮想環境生成フレームワークを構築した。
我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。
論文 参考訳（メタデータ） (2026-05-24T16:33:14Z) - WindowsWorld: A Process-Centric Benchmark of Autonomous GUI Agents in Professional Cross-Application Environments [34.06270058972]
WindowsWorldは、現実世界のプロのアクティビティを反映した複雑なマルチステップタスクでGUIエージェントを評価するように設計されている。
本手法では,16の職業によって構成されたマルチエージェント・フレームワークを用いて,4つの困難レベルタスクを生成する。
ベンチマークには181のタスクが含まれ、17の一般的なデスクトップアプリケーションで平均5.0のサブゴールがある。
論文 参考訳（メタデータ） (2026-04-30T12:13:27Z) - SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。
We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
論文 参考訳（メタデータ） (2024-10-19T17:28:48Z) - CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。
私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。
実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
論文 参考訳（メタデータ） (2024-07-01T17:55:04Z) - Benchmarking Mobile Device Control Agents across Diverse Configurations [19.01954948183538]
B-MoCAは、モバイルデバイス制御エージェントの評価と開発のためのベンチマークである。
我々は,大規模言語モデル (LLM) やマルチモーダル LLM を用いたエージェントを含む多種多様なエージェントをベンチマークする。
これらのエージェントは、簡単なタスクの実行の熟練度を示す一方で、複雑なタスクにおけるパフォーマンスの低さは、将来の研究が有効性を改善するための重要な機会を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-04-25T14:56:32Z) - OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments [87.41051677852231]
マルチモーダルエージェントのための,第1世代のスケーラブルな実コンピュータ環境であるOSWorldを紹介する。
OSWorldは、オープンエンドのコンピュータタスクを評価する統合されたコンピュータ環境として機能する。
オープンドメインの実際のWebおよびデスクトップアプリケーション、OSファイルI/O、複数のアプリケーションにまたがる369のコンピュータタスクのベンチマークを作成します。
論文 参考訳（メタデータ） (2024-04-11T17:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。