論文の概要: Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots

• arxiv url: http://arxiv.org/abs/2604.17817v1
• Date: Mon, 20 Apr 2026 05:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.703857
• Title: Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots
• Title（参考訳）: LLMはあらゆるものを見る必要があるか?スクリーンテキスト対スクリーンショットを用いたLCM駆動型スマートフォン自動化の失敗のベンチマークと研究
• Abstract要約: DailyDroidは、25のAndroidアプリにまたがる5つのシナリオで75のタスクをベンチマークします。 GPT-4oとo4-miniのテキストのみとマルチモーダル(テキスト+スクリーンショット)入力を用いて300回の試験で評価し、マルチモーダル入力と同等の性能を示し、成功率を極端に向上させた。
• 参考スコア（独自算出の注目度）: 15.63408997133083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of large language models (LLMs), mobile agents have emerged as promising tools for phone automation, simulating human interactions on screens to accomplish complex tasks. However, these agents often suffer from low accuracy, misinterpretation of user instructions, and failure on challenging tasks, with limited prior work examining why and where they fail. To address this, we introduce DailyDroid, a benchmark of 75 tasks in five scenarios across 25 Android apps, spanning three difficulty levels to mimic everyday smartphone use. We evaluate it using text-only and multimodal (text + screenshot) inputs on GPT-4o and o4-mini across 300 trials, revealing comparable performance with multimodal inputs yielding marginally higher success rates. Through in-depth failure analysis, we compile a handbook of common failures. Our findings reveal critical issues in UI accessibility, input modalities, and LLM/app design, offering implications for future mobile agents, applications, and UI development.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、モバイルエージェントは、複雑なタスクを達成するためにスクリーン上のヒューマンインタラクションをシミュレートする、電話自動化のための有望なツールとして登場した。 しかし、これらのエージェントは、しばしば低い精度、ユーザーの指示の誤解釈、困難なタスクの失敗に悩まされる。 これを解決するために、25のAndroidアプリで5つのシナリオで75のタスクをベンチマークしたDailyDroidを紹介した。 GPT-4oとo4-miniのテキストのみとマルチモーダル(テキスト+スクリーンショット)入力を用いて300回の試験で評価し、マルチモーダル入力と同等の性能を示し、成功率を極端に向上させた。 詳細な故障解析を通じて、一般的な故障のハンドブックをコンパイルする。 この結果から,UIアクセシビリティ,入力モダリティ,LLM/アプリ設計における重要な課題が明らかとなり,将来のモバイルエージェント,アプリケーション,UI開発に影響を及ぼす可能性が示唆された。

関連論文リスト

• SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information [61.41881137371855]
  大規模言語モデル(LLM)のベンチマークであるSPIEvalを紹介する。 SPIEvalは、10のアプリに分散された4,335の個人レコードにまたがる250のタスクで構成され、21のツールによるマルチターンインタラクションをサポートする。 最高のパフォーマンスモデルであるGPT-5.5(xhigh)は57.3%の精度しか達成せず、最も弱いモデルは16.4%である。
  論文  参考訳（メタデータ） (2026-08-11T09:14:53Z)
• Less Is More: Engineering Challenges of On-Device Small Language Model Integration in a Mobile Application [0.0]
  オンデバイススモールランゲージモデル(SLM)は、モバイルユーザ(クラウド依存がなく、デバイスを離れるデータもない)に対して、完全にオフラインでプライベートなAIエクスペリエンスを約束する。 本稿では,SLMをPalbritaに組み込むことによるエンジニアリング上の課題を,AndroidのワードガッセングゲームであるPalbritaに記録するケーススタディについて述べる。
  論文  参考訳（メタデータ） (2026-04-27T16:05:39Z)
• Scaling Synthetic Task Generation for Agents via Exploration [67.70129766322985]
  対話型エージェントを構築するための訓練後のマルチモーダル大言語モデル(MLLM)は、コンピュータ利用、Webナビゲーション、ロボット工学といった分野にまたがる約束を守る。 タスク生成のための既存のアプローチは、ダウンストリーム環境情報に制限のある人間のアノテーションやMLLMのプロンプトに大きく依存している。 本稿では,タスク生成のためのスケーラブルなパイプラインであるAutoPlayについて紹介する。
  論文  参考訳（メタデータ） (2025-09-29T17:00:02Z)
• MVISU-Bench: Benchmarking Mobile Agents for Real-World Tasks by Multi-App, Vague, Interactive, Single-App and Unethical Instructions [11.021990614727702]
  textbfMVISU-Benchは137のモバイルアプリケーションに404のタスクを含むベンチマークである。 また,リスクを軽減し,モバイルエージェントのユーザ意図を明らかにするために,動的プロンプトプロンプトプロンプトとして機能するプラグイン・アンド・プレイモジュールであるAiderを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:18:30Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。 We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI Testing via Functionality-aware Decisions [23.460051600514806]
  GPTDroidは、モバイルアプリ向けのQ&AベースのGUIテスティングフレームワークである。 機能認識型メモリプロンプト機構を導入する。 アクティビティのカバレッジが32%向上し、より高速な速度で31%のバグを検出する。
  論文  参考訳（メタデータ） (2023-10-24T12:30:26Z)
• AutoDroid: LLM-powered Task Automation in Android [32.241570727243534]
  モバイルタスク自動化システムであるAutoDroidを紹介した。 主なコンポーネントは、LLMでUIをブリッジする機能対応UI表現メソッドである。 我々は、メモリ拡張Androidタスク自動化のための新しいベンチマークで、その性能を158の共通タスクで評価した。
  論文  参考訳（メタデータ） (2023-08-29T13:02:30Z)
• Chatting with GPT-3 for Zero-Shot Human-Like Mobile Automated GUI Testing [23.460051600514806]
  GPTDroid を提案し,GUI ページ情報を LLM に渡してテストスクリプトを抽出することにより,大規模言語モデルにモバイルアプリとのチャットを依頼する。 そこで我々はGUIページの静的コンテキストと反復テストプロセスの動的コンテキストを抽出する。 Google Playの86のアプリ上でGPTDroidを評価し、そのアクティビティカバレッジは71%で、最高のベースラインよりも32%高く、最高のベースラインよりも高速で36%多くのバグを検出することができます。
  論文  参考訳（メタデータ） (2023-05-16T13:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。