論文の概要: Falcon-UI: Understanding GUI Before Following User Instructions

• arxiv url: http://arxiv.org/abs/2412.09362v1
• Date: Thu, 12 Dec 2024 15:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:33:31.842911
• Title: Falcon-UI: Understanding GUI Before Following User Instructions
• Title（参考訳）: Falcon-UI: ユーザの指示に従う前にGUIを理解する
• Authors: Huawen Shen, Chang Liu, Gengluo Li, Xinlong Wang, Yu Zhou, Can Ma, Xiangyang Ji,
• Abstract要約: インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
• 参考スコア（独自算出の注目度）: 57.67308498231232
• License:
• Abstract: Pursuing human-like interaction for Graphical User Interface (GUI) agents requires understanding the GUI context and following user instructions. However, existing works typically couple these two aspects and focus more on instruct-following abilities, while ignoring the importance of understanding the GUI context. In this paper, we introduce an instruction-free GUI navigation dataset, termed Insight-UI Dataset, to enhance model comprehension of GUI environments. Insight-UI Dataset is automatically generated from the Common Crawl corpus, simulating various platforms -- including iOS, Android, Windows, and Linux -- across multiple resolutions on 312K domains. Although GUI interactions vary by context, diverse interfaces share common internal patterns, such as clicking an item to view its details. It implies the feasibility of independent GUI operation learning, followed by joint optimization with instruction tuning. Thereby, we develop the GUI agent model Falcon-UI, which is initially pretrained on Insight-UI Dataset and subsequently fine-tuned on Android and Web GUI datasets, including AITW, AITZ, Android Control, and Mind2Web. With 7 billion parameters, Falcon-UI achieves accuracy comparable to the 72 billion-parameter Qwen2VL on AITZ, validating the alignment between GUI context comprehension and agent performance. Our code and dataset will be open-sourced.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントに対するヒューマンライクなインタラクションを行うには、GUIコンテキストを理解し、ユーザ命令に従う必要がある。 しかし、既存の作業は一般的にこれらの2つの側面を結合し、GUIコンテキストを理解することの重要性を無視しながら、指示に従う能力にもっと焦点を合わせます。 本稿では,GUI環境のモデル理解を高めるために,Insight-UI Datasetと呼ばれるインストラクションフリーGUIナビゲーションデータセットを提案する。 Insight-UI DatasetはCommon Crawlコーパスから自動的に生成され、312Kドメイン上の複数の解像度でiOS、Android、Windows、Linuxなど、さまざまなプラットフォームをシミュレートする。 GUIのインタラクションはコンテキストによって異なるが、さまざまなインターフェースは、アイテムをクリックして詳細を見るなど、共通の内部パターンを共有している。 これは、独立したGUI操作学習の実現可能性を示し、次に命令チューニングを伴う共同最適化を行う。 そこで我々は、最初Insight-UIデータセットで事前トレーニングされ、その後AITW、AITZ、Android Control、Mind2Webを含むAndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。 70億のパラメータを持つFalcon-UIは、AITZ上の72億パラメータのQwen2VLに匹敵する精度を実現し、GUIコンテキストの理解とエージェントのパフォーマンスの整合性を検証する。 コードとデータセットはオープンソースになります。

関連論文リスト

• GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
  MLLMをベースとした自律エージェントGUI-Beeを提案する。 NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
  論文  参考訳（メタデータ） (2025-01-23T18:16:21Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of GUI Widgets from GUI Images [21.498096538797952]
  本稿では,GUIウィジェットの知覚群を推定するための教師なし画像ベース手法を提案する。 772個のモバイルアプリと20個のUIデザインモックアップから収集した1,091個のGUIのデータセットによる評価は、我々の手法が最先端のアドホックベースのベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2022-06-15T05:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。