論文の概要: From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces

• arxiv url: http://arxiv.org/abs/2306.00245v2
• Date: Wed, 6 Dec 2023 23:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 18:47:22.508469
• Title: From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces
• Title（参考訳）: ピクセルからuiアクションへ:グラフィカルユーザインタフェースによる命令に従う学習
• Authors: Peter Shaw, Mandar Joshi, James Cohan, Jonathan Berant, Panupong Pasupat, Hexiang Hu, Urvashi Khandelwal, Kenton Lee, Kristina Toutanova
• Abstract要約: 本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。 このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
• 参考スコア（独自算出の注目度）: 66.85108822706489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Much of the previous work towards digital agents for graphical user interfaces (GUIs) has relied on text-based representations (derived from HTML or other structured data sources), which are not always readily available. These input representations have been often coupled with custom, task-specific action spaces. This paper focuses on creating agents that interact with the digital world using the same conceptual interface that humans commonly use -- via pixel-based screenshots and a generic action space corresponding to keyboard and mouse actions. Building upon recent progress in pixel-based pretraining, we show, for the first time, that it is possible for such agents to outperform human crowdworkers on the MiniWob++ benchmark of GUI-based instruction following tasks.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)のデジタルエージェントに向けたこれまでの作業の多くは、テキストベースの表現(HTMLや他の構造化データソースから派生したもの)に依存しており、必ずしも容易に利用できない。 これらの入力表現は、しばしばカスタムなタスク固有のアクション空間と結合されている。 本稿では,人間がよく使う概念的インタフェースと,キーボードとマウスのアクションに対応する汎用的なアクション空間を用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。 近年の画素ベースの事前学習の進歩を踏まえ,GUIベースの命令追従タスクのMiniWob++ベンチマークにおいて,このようなエージェントが人間のクラウドワーカーより優れていることを示す。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents [20.08996257335876]
  環境を視覚的に完全に知覚し,GUI上でのピクセルレベルの操作を直接行う,GUIエージェントのためのヒューマンライクなエボディメントを提唱する。 これまでに10MのGUI要素と参照式を1.3Mのスクリーンショット上に収めた、GUIの視覚的接地のための最大のデータセットを収集しました。 ウェブベースの合成データとLLaVAアーキテクチャの若干の適応を含む簡単なレシピは、このような視覚的接地モデルのトレーニングに驚くほど効果的であることを示す。
  論文  参考訳（メタデータ） (2024-10-07T17:47:50Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• VideoGUI: A Benchmark for GUI Automation from Instructional Videos [78.97292966276706]
  VideoGUIは、ビジュアル中心のGUIタスクでGUIアシスタントを評価するために設計された、新しいマルチモーダルベンチマークである。 高品質なWebインストラクショナルビデオから得られたベンチマークは、プロフェッショナルと新しいソフトウェアに関わるタスクに焦点を当てている。 評価の結果,SoTAの大規模マルチモーダルモデルであるGPT4oでさえ,視覚中心のGUIタスクでは不十分であることが判明した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:08Z)
• Graph4GUI: Graph Neural Networks for Representing Graphical User Interfaces [27.84098739594353]
  Graph4GUIはグラフニューラルネットワークを利用して、個々の要素の特性とセマンティックな空間的制約をレイアウトでキャプチャする。 学習された表現は、その効果を複数のタスクで示し、特に挑戦的なGUIオートコンプリートタスクで設計を生成する。
  論文  参考訳（メタデータ） (2024-04-21T04:06:09Z)
• SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
  タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。 この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。 また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
  論文  参考訳（メタデータ） (2024-01-17T08:10:35Z)
• Reinforced UI Instruction Grounding: Towards a Generic UI Task Automation API [17.991044940694778]
  汎用的なUIタスク自動化エグゼキュータとして、与えられたUIスクリーンショットに自然言語命令をベースとしたマルチモーダルモデルを構築します。 画像からテキストまでの事前学習知識の活用を容易にするため,画素からシーケンスまでのパラダイムを踏襲する。 提案する強化UI命令グラウンドモデルでは,最先端の手法よりも明確なマージンで性能が向上する。
  論文  参考訳（メタデータ） (2023-10-07T07:22:41Z)
• InstructDiffusion: A Generalist Modeling Interface for Vision Tasks [52.981128371910266]
  InstructDiffusionはコンピュータビジョンタスクを人間の指示に合わせるためのフレームワークである。 InstructDiffusionは、タスクの理解や生成タスクなど、さまざまなビジョンタスクを処理できる。 目に見えないタスクを処理し、新しいデータセットで前のメソッドより優れていることも示しています。
  論文  参考訳（メタデータ） (2023-09-07T17:56:57Z)
• Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding [58.70423899829642]
  Pix2Structは、純粋に視覚的な言語理解のための事前訓練された画像-テキストモデルである。 4つの領域にまたがる9つのタスクのうち6つのタスクにおいて、1つの事前訓練されたモデルが最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-07T06:42:06Z)
• Magic Layouts: Structural Prior for Component Detection in User Interface Designs [28.394160581239174]
  ユーザインタフェース(UI)レイアウトのスクリーンショットや手書きスケッチを解析する手法であるMagic Layoutsを提示する。 当社のコアコントリビューションは、既存の検出器を拡張して、UI設計の学習された構造を活用することです。 ユーザエクスペリエンス(UX)設計のディジタルプロトタイプを高速に取得するためのインタラクティブアプリケーションとして,コンテキスト内でデモを行う。
  論文  参考訳（メタデータ） (2021-06-14T17:20:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。