論文の概要: iOSWorld: A Benchmark for Personally Intelligent Phone Agents

• arxiv url: http://arxiv.org/abs/2606.09764v1
• Date: Mon, 08 Jun 2026 17:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.591182
• Title: iOSWorld: A Benchmark for Personally Intelligent Phone Agents
• Title（参考訳）: iOSWorld: パーソナルにインテリジェントな電話エージェントのベンチマーク
• Authors: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov,
• Abstract要約: iOSWorldは,永続的なユーザIDを中心に構築された,初のインタラクティブなネイティブiOSシミュレータベンチマークである。 3つの難しいカテゴリにまたがる133のタスクが含まれている。 視覚のみと特権化された視覚+XML設定の両方において、フロンティアとオープンソースのコンピュータ利用モデルを評価する。
• 参考スコア（独自算出の注目度）: 38.11029957842243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A useful phone agent needs to be personally intelligent. It should reason over a user's identity, history, and preferences as they exist on the device, not just follow isolated instructions in an impersonal sandbox. Existing mobile agent benchmarks lack this kind of personalization. We introduce iOSWorld, the first interactive native iOS simulator benchmark built around a persistent user identity spanning 26 newly built iOS apps. These apps contain connected data such as transactions, messages, travel records, social relationships, and financial activity. iOSWorld includes 133 tasks across three increasingly difficult categories. Single-app tasks (27) test one app, multi-app tasks (60) span 2 to 8 apps, and memory and personalization tasks (46) require agents to infer patterns from personal data. We evaluate frontier and open-source computer-use models in both vision-only and privileged vision+XML settings. The best configuration reaches 52\% overall but only 37\% on multi-app tasks. Privileged vision+XML access improves frontier models by up to 26 percentage points, while smaller models do not benefit from added accessibility-tree input. We release iOSWorld as an open-source benchmark with all apps, seeded data, tasks, rubrics, and evaluation code.
• Abstract（参考訳）: 有用な電話エージェントは、個人的にはインテリジェントである必要があります。 デバイス上に存在するユーザのアイデンティティ、履歴、好みを推論し、非個人的なサンドボックスで独立した指示に従うだけでなく、そのデバイス上に存在すべきである。 既存のモバイルエージェントベンチマークには、このようなパーソナライゼーションがない。 これは、26の新しく構築されたiOSアプリにまたがる永続的なユーザーアイデンティティを中心に構築された、最初のインタラクティブなiOSシミュレータである。 これらのアプリは、トランザクション、メッセージ、旅行記録、社会的関係、金融活動などの接続されたデータを含んでいる。 iOSWorldには、3つの難しいカテゴリにわたる133のタスクが含まれている。 シングルアプリタスク(27)テスト1アプリ、マルチアプリタスク(60)2～8アプリ、メモリとパーソナライゼーションタスク(46)は、パーソナルデータからパターンを推論する必要がある。 視覚のみと特権化された視覚+XML設定の両方において、フロンティアとオープンソースのコンピュータ利用モデルを評価する。 最高設定は52\%に達するが、マルチアプリタスクでは37\%に留まる。 Privileged Vision+XMLアクセスはフロンティアモデルを最大26ポイント改善しますが、小さなモデルはアクセシビリティツリー入力の追加の恩恵を受けません。 私たちはiOSWorldを、すべてのアプリ、シードデータ、タスク、ルーリック、評価コードによるオープンソースのベンチマークとしてリリースしています。

関連論文リスト

• PhoneWorld: Scaling Phone-Use Agent Environments [101.288508963127]
  PhoneWorldは、実際のGUIトラジェクトリとスクリーンショットをコントロール可能な電話環境に変換する再利用可能なパイプラインである。 読み取り専用アプリコンテンツとミュータブルステートによって、実行可能なモックAndroidアプリを構築する。 16のドメインに34のアプリがあり、検索、ブラウジング、ショッピング、予約、メディア、ソーシャルインタラクションなどの一般的なモバイル行動にまたがっている。
  論文  参考訳（メタデータ） (2026-05-28T07:14:15Z)
• Do Phone-Use Agents Respect Your Privacy? [97.81424230136075]
  我々は,モバイルエージェントのプライバシ行動を評価するための検証可能なフレームワークであるMyPhoneBenchを紹介する。 プライバシを無視する電話を、最小限のプライバシ契約によって許可されたアクセス、最小限の開示、およびユーザ制御メモリとして運用する。 10のモバイルアプリと300のタスクで5つのフロンティアモデルにまたがって、タスクの成功、プライバシに準拠したタスク補完、保存された好みの後での利用が、それぞれ異なる機能であることに気付きました。
  論文  参考訳（メタデータ） (2026-04-01T14:50:50Z)
• AndroidLens: Long-latency Evaluation with Nested Sub-targets for Android GUI Agents [36.66219528445988]
  モバイルGUIエージェントのための挑戦的な評価フレームワークであるAndroidLensを紹介する。 中国語と英語の両方の環境での長時間のタスクは571である。 我々の評価では、最高のモデルでさえ、12.7%のタスク成功率と50.47%のATPにしか達していない。
  論文  参考訳（メタデータ） (2025-12-24T17:40:42Z)
• OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability [49.99934595922838]
  自律的なUIエージェントの約束を実現する上では、信頼性が重要です。 6つのアプリを備えた軽量なオープンソースエコシステムであるOpenAppsを開発しています。 我々は、7つの主要なマルチモーダルエージェントの信頼性を研究するために、1万以上の独立した評価を実行する。
  論文  参考訳（メタデータ） (2025-11-25T19:00:22Z)
• AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents [44.16450035387395]
  AppWorldは高品質な実行環境(60K行のコード)で、毎日9つのアプリが457のAPIを通じて動作可能である。 $textbfAppWorld Benchmark$ (40K行のコード)は、750の自然で多様な自律エージェントタスクからなるスイートである。
  論文  参考訳（メタデータ） (2024-07-26T17:55:45Z)
• GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [47.98821056800437]
  クロスプラットフォームなモバイルGUIナビゲーションのためのデータセットであるGUIOdysseyを提示する。 GuiOdysseyは8,334エピソードで構成され、平均15.3ステップで6つのモバイルデバイス、212の異なるアプリ、1,357のアプリの組み合わせをカバーしている。 我々は,履歴リサンプラーモジュールを備えた長期横断ナビゲーションのための探索的マルチモーダルエージェントであるOdysseyAgentを開発した。
  論文  参考訳（メタデータ） (2024-06-12T17:44:26Z)
• Autonomous Large Language Model Agents Enabling Intent-Driven Mobile GUI Testing [17.24045904273874]
  そこで我々は,Android用の自動GUIテストエージェントであるDroidAgentを提案する。 これはLarge Language Modelと、長期記憶や短期記憶などのサポートメカニズムに基づいている。 DroidAgentは61%のアクティビティカバレッジを達成したが、現在の最先端のGUIテスト技術では51%だった。
  論文  参考訳（メタデータ） (2023-11-15T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。