論文の概要: Beyond Pass or Fail: Multi-Dimensional Benchmarking of Foundation Models for Goal-based Mobile UI Navigation

• arxiv url: http://arxiv.org/abs/2501.02863v2
• Date: Tue, 11 Feb 2025 13:34:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:04:30.988678
• Title: Beyond Pass or Fail: Multi-Dimensional Benchmarking of Foundation Models for Goal-based Mobile UI Navigation
• Title（参考訳）: Beyond Pass or Fail: 目標ベースのモバイルUIナビゲーションのための基礎モデルの多次元ベンチマーク
• Authors: Dezhi Ran, Mengzhou Wu, Hao Yu, Yuetong Li, Jun Ren, Yuan Cao, Xia Zeng, Haochuan Lu, Zexin Xu, Mengqian Xu, Ting Su, Liangchao Yao, Ting Xiong, Wei Yang, Yuetang Deng, Assaf Marron, David Harel, Tao Xie,
• Abstract要約: ユーザインタフェース(UI)ナビゲーションの産業的設定における基礎モデル(FM)の評価のためのベンチマークであるSphinxを提案する。 Google PlayアプリケーションとWeChatの内部UIテストケースの両方を使用して、20の異なる構成を持つ8つのFMを評価した。 その結果、既存のFMは、主にUI固有の機能不足のため、ゴールベースのテストタスクに普遍的に苦労していることがわかった。
• 参考スコア（独自算出の注目度）: 15.80796682874844
• License:
• Abstract: Recent advances of foundation models (FMs) have made navigating mobile applications (apps) based on high-level goal instructions within reach, with significant industrial applications such as UI testing. While existing benchmarks evaluate FM-based UI navigation using the binary pass/fail metric, they have two major limitations: they cannot reflect the complex nature of mobile UI navigation where FMs may fail for various reasons (e.g., misunderstanding instructions and failed planning), and they lack industrial relevance due to oversimplified tasks that poorly represent real-world scenarios. To address the preceding limitations, we propose Sphinx, a comprehensive benchmark for multi-dimensional evaluation of FMs in industrial settings of UI navigation. Sphinx introduces a specialized toolkit that evaluates five essential FM capabilities, providing detailed insights into failure modes such as insufficient app knowledge or planning issues. Using both popular Google Play applications and WeChat's internal UI test cases, we evaluate 8 FMs with 20 different configurations. Our results show that existing FMs universally struggle with goal-based testing tasks, primarily due to insufficient UI-specific capabilities. We summarize seven lessons learned from benchmarking FMs with Sphinx, providing clear directions for improving FM-based mobile UI navigation.
• Abstract（参考訳）: ファウンデーションモデル(FM)の最近の進歩は、リーチ内の高いレベルの目標指示に基づいてモバイルアプリケーション(アプリケーション)をナビゲートし、UIテストのような重要な産業的応用を実現している。 既存のベンチマークでは、バイナリパス/フェイルメトリックを使用してFMベースのUIナビゲーションを評価するが、2つの大きな制限がある: FMが様々な理由で失敗する(例えば、誤解命令や計画の失敗)モバイルUIナビゲーションの複雑な性質を反映することはできない。 先述した制限に対処するため,産業用UIナビゲーションにおけるFMの多次元評価のための総合的ベンチマークであるSphinxを提案する。 Sphinxは5つの必須FM機能を評価する特殊なツールキットを導入し、アプリの知識不足や計画上の問題といった障害モードに関する詳細な洞察を提供する。 人気の高いGoogle PlayアプリケーションとWeChatの内部UIテストケースの両方を使って、20の異なる構成を持つ8つのFMを評価します。 その結果、既存のFMは、主にUI固有の機能不足のため、ゴールベースのテストタスクに普遍的に苦労していることがわかった。 FMをSphinxでベンチマークすることで得られた7つの教訓を要約し、FMベースのモバイルUIナビゲーションを改善するための明確な方向性を提供する。

関連論文リスト

• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)
• Software Engineering and Foundation Models: Insights from Industry Blogs Using a Jury of Foundation Models [11.993910471523073]
  我々は大手テクノロジー企業から155 FM4SEと997 SE4FMのブログ記事を分析した。 我々は、コード生成が最も顕著なFM4SEタスクであるのに対して、FMは他の多くのSEアクティビティに活用されていることを観察した。 クラウドのデプロイに重点を置いているが、FMを圧縮し、小さなデバイスにデプロイすることへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-10-11T17:27:04Z)
• MobileVLM: A Vision-Language Model for Better Intra- and Inter-UI Understanding [37.15649883702765]
  我々は,UI内理解とUI間理解を両立させる2つの事前学習段階を含むMobileVLMを提案する。 モバイル事前トレーニングデータの不足に対処するため、中国製の大規模なモバイルデータセットMobile3Mをスクラッチから構築しました。 実験の結果,MobileVLMはテストセットと公開モバイルベンチマークの両方で優れており,既存のVLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-23T08:47:54Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)
• GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
  GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。 履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
  論文  参考訳（メタデータ） (2024-06-12T17:44:26Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• Spotlight: Mobile UI Understanding using Vision-Language Models with a Focus [9.401663915424008]
  本稿では,UIのスクリーンショットと画面上の関心領域のみを入力とする視覚言語モデルを提案する。 実験の結果,本モデルではいくつかのUIタスクにおいてSoTA結果が得られ,従来手法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-29T16:45:43Z)
• FETA: Towards Specializing Foundation Models for Expert Task Applications [49.57393504125937]
  ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-09-08T08:47:57Z)
• Explore before Moving: A Feasible Path Estimation and Memory Recalling Framework for Embodied Navigation [117.26891277593205]
  ナビゲーションに焦点をあて,経験や常識に欠ける既存のナビゲーションアルゴリズムの問題を解決する。 移動前に2回思考する能力に触発されて、不慣れな場面で目標を追求する実現可能な経路を考案し、パス推定とメモリリコールフレームワークと呼ばれる経路計画手法を提案する。 EmbodiedQAナビゲーションタスクにおけるPEMRの強力な実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-16T13:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。