論文の概要: AndroidReality: How Far Are Mobile Agents from the Real World?
- arxiv url: http://arxiv.org/abs/2608.07775v1
- Date: Fri, 07 Aug 2026 21:47:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.510705
- Title: AndroidReality: How Far Are Mobile Agents from the Real World?
- Title（参考訳）: AndroidReality: リアル世界のモバイルエージェントはどこまで?
- Abstract要約: モバイルエージェントの堅牢性を評価し改善するための摂動に基づくフレームワークであるAndroidRealityを紹介する。
現実的で制御可能な摂動注入を備えた,AndroidWorld上に摂動型モバイルベンチマークを構築した。
評価の結果, かなりの堅牢性ギャップと4つの繰り返しエラーカテゴリが明らかとなった。
- 参考スコア（独自算出の注目度）: 7.828168033702986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile agents have achieved promising results on clean online benchmarks such as AndroidWorld, yet their performance often degrades sharply in real-world deployment due to environmental variations and imperfect interface conditions. In this work, we introduce AndroidReality, a perturbation-based framework for evaluating and improving the robustness of mobile agents. Through a Markov Decision Process (MDP) perspective, we organize real-world interface variability into a principled taxonomy of perturbations along three axes: state, transition, and action. Guided by this taxonomy, we build a perturbed mobile benchmark on top of AndroidWorld with realistic and controllable perturbation injections, enabling systematic robustness evaluation of mobile agents. Our evaluation reveals substantial robustness gaps and four recurring error categories, motivating a simple training-free Test-Time Introspective Recovery (TTIR) mechanism that mitigates these failures on both perturbed and clean settings. Together, these results position robustness as a missing dimension in mobile agent evaluation and establish benchmark perturbation as an effective tool for both stress testing and surfacing latent weaknesses of mobile agents.
- Abstract（参考訳）: モバイルエージェントは、AndroidWorldのようなクリーンなオンラインベンチマークで有望な結果を得たが、そのパフォーマンスは、環境の変化と不完全なインターフェース条件により、現実のデプロイメントにおいて著しく低下することが多い。
本研究では,モバイルエージェントの堅牢性を評価・改善するための摂動に基づくフレームワークであるAndroidRealityを紹介する。
マルコフ決定プロセス(MDP)の観点から、実世界のインターフェースの多様性を、状態、遷移、行動の3つの軸に沿った摂動の原則的分類に整理する。
この分類法により、我々は、現実的で制御可能な摂動注入により、AndroidWorld上に摂動型モバイルベンチマークを構築し、モバイルエージェントの体系的な堅牢性評価を可能にする。
本評価では, トレーニング不要なテスト・タイム・イントロスペクティブ・リカバリ(TTIR, Test-Time IntrospectiveRecovery) 機構により, 乱れた環境とクリーンな環境の両方において, これらの障害を緩和する。
これらの結果は,モバイルエージェント評価の欠落次元としてロバストネスを位置づけ,ストレステストおよびモバイルエージェントの潜伏弱さを克服するための有効なツールとしてベンチマーク摂動を確立した。
関連論文リスト
- Are Android GUI Agents Robust Against Runtime Anomalies? AnTrap: Evaluating Agents in Dynamic Adversarial Environments [19.009627117174947]
エージェントの実行軌跡に動的摂動を注入する総合ベンチマークAnTrapを導入する。
本研究では,現実世界の異常を4つの層(状態,思考,行動,ラウンド)に分類する分類法を提案する。
また,現実的な対向条件を導入しながら,課題解決可能性を維持する構築パイプラインも開発している。
論文 参考訳（メタデータ） (2026-08-25T05:57:25Z) - WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation [85.15806404962193]
行動条件付き世界モデル(ACWM)は、計画、ポリシー評価、データ生成のためのスケーラブルな予測シミュレータを具現化したAIを提供することを約束する。
物理シミュレータが期待する観測能力を用いてACWMを評価する。
WorldSimProbeは、制御のバリエーション、相互作用のグラウンディングにおける構造化された障害、ダイナミックスにまたがる、システマティックなアクション実現の劣化を明らかにする。
論文 参考訳（メタデータ） (2026-08-10T08:48:06Z) - Xiaomi-GUI-0 Technical Report [39.05385476532886]
Xiaomi-GUI-0は、実際のモバイル環境向けのネイティブなマルチモーダルGUIエージェントである。
教師付き微調整、ステップレベルの強化学習、エージェントによる強化学習という3段階のパイプラインを通じて訓練される。
RealMobileで72.0%、AndroidWorldで78.9%を達成し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。
論文 参考訳（メタデータ） (2026-06-30T09:36:35Z) - Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。
シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。
VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
論文 参考訳（メタデータ） (2026-05-07T14:13:05Z) - Beyond State Consistency: Behavior Consistency in Text-Based World Models [58.216587360435305]
本研究では,世界モデルと実環境の機能的整合性を改善することを目的とした,行動整合性トレーニングパラダイムを提案する。
WebShopとTextWorldの実験では、BehRベースのトレーニングによって、いくつかの設定における長期的なアライメントが改善されている。
論文 参考訳（メタデータ） (2026-04-15T12:56:45Z) - ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation [66.02142169323521]
Vision-Language-ActionモデルとWorld Modelは最近、汎用ロボットインテリジェンスのための有望なパラダイムとして登場した。
既存のベンチマークは、主にシミュレータ中心であり、制御性を提供するが、知覚ノイズによって引き起こされる現実のギャップを捉えることができない。
シミュレーションと実世界の実行を橋渡しする標準化された評価フレームワークであるManipArenaを紹介する。
論文 参考訳（メタデータ） (2026-03-30T15:06:41Z) - VenusBench-Mobile: A Challenging and User-Centric Benchmark for Mobile GUI Agents with Capability Diagnostics [23.71786084060511]
我々は,汎用的なモバイルGUIエージェントを評価する上で困難なオンラインベンチマークであるVenusBench-Mobileを紹介する。
VenusBench-Mobileは、実際のモバイル利用を反映したユーザインテリジェント駆動タスク設計による評価の定義と、詳細なエージェント動作分析のための機能指向アノテーションスキームによる評価方法という、2つの中核評価柱を構築している。
論文 参考訳（メタデータ） (2026-02-06T18:54:42Z) - MobileBench-OL: A Comprehensive Chinese Benchmark for Evaluating Mobile GUI Agents in Real-World Environment [17.207878975582556]
MobileBench-OLは、80の中国アプリから1080タスクのオンラインベンチマークである。
エージェントのタスク実行、複雑な推論、ノイズロバスト性を測定する。
MobileBench-OLは、現実世界の要件を満たすための重要な改善の余地を示している。
論文 参考訳（メタデータ） (2026-01-28T07:49:48Z) - MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments [19.665566262516275]
AndroidWorldは、再現可能な環境と決定論的評価のために、主要なベンチマークとして登場した。
MobileWorldは、201タスクを通じて現実世界の使用を反映するように設計された、はるかに難しいベンチマークである。
論文 参考訳（メタデータ） (2025-12-22T14:31:28Z) - OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows [77.95511352806261]
VLM(Vision-Language Models)を利用したコンピュータ利用エージェントは、モバイルプラットフォームのようなデジタル環境を操作する上で、人間のような能力を実証している。
我々は,明示的なシステムレベルの違反を検出するための形式検証器と,文脈的リスクとエージェント行動を評価するコンテキスト判断器を組み合わせた,新しいハイブリッド安全検出フレームワークOS-Sentinelを提案する。
論文 参考訳（メタデータ） (2025-10-28T13:22:39Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳（メタデータ） (2025-07-12T01:58:04Z) - The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。
本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。
大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文 参考訳（メタデータ） (2024-12-06T23:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。