論文の概要: MobileFlow: A Multimodal LLM For Mobile GUI Agent

• arxiv url: http://arxiv.org/abs/2407.04346v3
• Date: Fri, 06 Dec 2024 07:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:53:37.364158
• Title: MobileFlow: A Multimodal LLM For Mobile GUI Agent
• Title（参考訳）: MobileFlow:モバイルGUIエージェントのためのマルチモーダルLLM
• Authors: Songqin Nong, Jiali Zhu, Rui Wu, Jiongchao Jin, Shuo Shan, Xiutian Huang, Wenhao Xu,
• Abstract要約: 本稿では,モバイルGUIエージェント用のマルチモーダルな大規模言語モデルであるMobileFlowを紹介する。 MobileFlowは約21億のパラメータを含み、新しいハイブリッドビジュアルエンコーダを備えている。 画像データを完全に解釈し、GUIインタラクションタスクのユーザ命令を理解する能力がある。
• 参考スコア（独自算出の注目度）: 4.7619361168442005
• License:
• Abstract: Currently, the integration of mobile Graphical User Interfaces (GUIs) is ubiquitous in most people's daily lives. And the ongoing evolution of multimodal large-scale models, such as GPT-4v, Qwen-VL-Max, has significantly bolstered the capabilities of GUI comprehension and user action analysis, showcasing the potentiality of intelligent GUI assistants. However, current GUI Agents often need to access page layout information through calling system APIs, which may pose privacy risks. Fixing GUI (such as mobile interfaces) to a certain low resolution might result in the loss of fine-grained image details. At the same time, the multimodal large models built for GUI Agents currently have poor understanding and decision-making abilities for Chinese GUI interfaces, making them difficult to apply to a large number of Chinese apps. This paper introduces MobileFlow, a multimodal large language model meticulously crafted for mobile GUI agents. Transforming from the open-source model Qwen-VL-Chat into GUI domain, MobileFlow contains approximately 21 billion parameters and is equipped with novel hybrid visual encoders, making it possible for variable resolutions of image inputs and good support for multilingual GUI. By incorporating Mixture of Experts (MoE) expansions and pioneering alignment training strategies, MobileFlow has the capacity to fully interpret image data and comprehend user instructions for GUI interaction tasks. Finally, MobileFlow outperforms Qwen-VL-Max and GPT-4v in terms of task execution by GUI agents on both public and our proposed evaluation metrics, and has been successfully deployed in real-world business contexts, proving its effectiveness for practical applications.
• Abstract（参考訳）: 現在、モバイルグラフィカルユーザインタフェース(GUI)の統合は、ほとんどの人の日常生活に広く浸透している。 また,GPT-4vやQwen-VL-Maxといったマルチモーダル大規模モデルの進化により,GUI理解能力とユーザ行動分析能力が大きく向上し,知的GUIアシスタントの可能性を示している。 しかし、現在のGUIエージェントは、しばしばページレイアウト情報に呼び出しシステムAPIを通してアクセスする必要があるため、プライバシー上のリスクが生じる可能性がある。 GUI(例えばモバイルインターフェース)をある程度の低解像度に固定すると、微細な画像の詳細が失われる可能性がある。 同時に、GUI Agents用に構築されたマルチモーダルな大規模モデルは、現在、中国のGUIインターフェースに対する理解と意思決定能力に乏しいため、多数の中国アプリに適用することは困難である。 本稿では,モバイルGUIエージェント用のマルチモーダルな大規模言語モデルであるMobileFlowを紹介する。 オープンソースのQwen-VL-ChatからGUIドメインに変換されるMobileFlowは、約21億のパラメータを含み、新しいハイブリッドビジュアルエンコーダを備えており、画像入力の可変解像度と多言語GUIのサポートが可能である。 Mixture of Experts (MoE)の拡張とアライメントトレーニング戦略のパイオニア化によって、MobileFlowは、画像データを完全に解釈し、GUIインタラクションタスクのユーザインストラクションを理解する能力を持つ。 最後に、MobileFlowは、公開および提案した評価指標の両方においてGUIエージェントによるタスク実行の観点からQwen-VL-MaxとGPT-4vを上回り、実世界のビジネス環境でのデプロイに成功した。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
  我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。 AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。 AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2024-07-03T17:59:58Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• CogAgent: A Visual Language Model for GUI Agents [61.26491779502794]
  GUI理解とナビゲーションに特化した視覚言語モデル(VLM)であるCogAgentを紹介する。 低解像度画像エンコーダと高解像度画像エンコーダの両方を利用することで、CogAgentは1120*1120の解像度で入力をサポートする。 CogAgentは、VQAv2、OK-VQA、Text-VQA、ST-VQA、ChartQA、 infoVQA、DocVQA、MM-Vet、POPEを含む5つの一般的なVQAベンチマークで、技術の現状を達成している。
  論文  参考訳（メタデータ） (2023-12-14T13:20:57Z)
• META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI [28.484013258445067]
  我々はGUIベースのタスク指向対話システム(GUI-TOD)という新しいTODアーキテクチャを提案する。 GUI-TODシステムは、バックエンドAPIを呼び出すことなく、実際のAPP上でGUI操作を直接実行し、タスクを実行することができる。 モバイルGUI上でマルチモーダル対話エージェントをトレーニングするためのデータセットであるMETA-GUIをリリースする。
  論文  参考訳（メタデータ） (2022-05-23T04:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。