論文の概要: TinyClick: Single-Turn Agent for Empowering GUI Automation

• arxiv url: http://arxiv.org/abs/2410.11871v2
• Date: Thu, 17 Oct 2024 08:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:00.532823
• Title: TinyClick: Single-Turn Agent for Empowering GUI Automation
• Title（参考訳）: TinyClick: GUI自動化を強化するシングルTurnエージェント
• Authors: Pawel Pawlowski, Krystian Zawistowski, Wojciech Lapacz, Marcin Skorupa, Adam Wiacek, Sebastien Postansque, Jakub Hoscilowicz,
• Abstract要約: 視覚言語モデル Florence-2-Base を用いたグラフィカルユーザインタフェース(GUI)インタラクションタスクのためのシングルターンエージェントを提案する。 エージェントの主なタスクは、ユーザのコマンドに対応するUI要素の画面座標を特定することである。 これはScreenspotとOmniActで強力なパフォーマンスを示し、コンパクトサイズは0.27Bパラメータと最小レイテンシを維持している。
• 参考スコア（独自算出の注目度）: 0.18846515534317265
• License:
• Abstract: We present a single-turn agent for graphical user interface (GUI) interaction tasks, using Vision-Language Model Florence-2-Base. The agent's primary task is identifying the screen coordinates of the UI element corresponding to the user's command. It demonstrates strong performance on Screenspot and OmniAct, while maintaining a compact size of 0.27B parameters and minimal latency. Relevant improvement comes from multi-task training and MLLM-based data augmentation. Manually annotated corpora are scarce, but we show that MLLM augmentation might produce better results. On Screenspot and OmniAct, our model outperforms both GUI-specific models (e.g., SeeClick) and MLLMs (e.g., GPT-4V).
• Abstract（参考訳）: 視覚言語モデル Florence-2-Base を用いたグラフィカルユーザインタフェース(GUI)インタラクションタスクのためのシングルターンエージェントを提案する。 エージェントの主なタスクは、ユーザのコマンドに対応するUI要素の画面座標を特定することである。 これはScreenspotとOmniActで強力なパフォーマンスを示し、コンパクトサイズは0.27Bパラメータと最小レイテンシを維持している。 関連する改善はマルチタスクトレーニングとMLLMベースのデータ拡張である。 手書き注釈付きコーパスは少ないが,MLLM増強はより良い結果をもたらす可能性が示唆された。 ScreenspotとOmniActでは、GUI固有のモデル(例: SeeClick)とMLLM(例: GPT-4V)の両方より優れています。

関連論文リスト

• GUI Agents with Foundation Models: A Comprehensive Survey [52.991688542729385]
  この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 データ、フレームワーク、アプリケーションにおける重要なイノベーションを強調します。 本稿では, (M)LLM ベースの GUI エージェントの分野におけるさらなる発展を期待する。
  論文  参考訳（メタデータ） (2024-11-07T17:28:10Z)
• ClickAgent: Enhancing UI Location Capabilities of Autonomous Agents [0.0]
  ClickAgentは、自律エージェントを構築するための新しいフレームワークである。 ClickAgentでは、MLLMが推論とアクションプランニングを処理し、別のUIロケーションモデルが画面上の関連するUI要素を識別する。 本評価は,Androidスマートフォンエミュレータと実際のAndroidスマートフォンの両方で実施し,タスク成功率をエージェント性能測定の指標として用いた。
  論文  参考訳（メタデータ） (2024-10-09T14:49:02Z)
• Read Anywhere Pointed: Layout-aware GUI Screen Reading with Tree-of-Lens Grounding [30.624179161014283]
  そこで我々は,ScreenPRタスクに対処するために,新しいToLグラウンド機構を用いたToLエージェントを提案する。 入力点座標とそれに対応するGUIスクリーンショットに基づいて、我々のToLエージェントは階層的なレイアウトツリーを構築する。 木をベースとしたToLエージェントは,指定領域の内容だけでなく,要素間のレイアウトや空間的関係も理解している。
  論文  参考訳（メタデータ） (2024-06-27T15:34:16Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• VideoGUI: A Benchmark for GUI Automation from Instructional Videos [78.97292966276706]
  VideoGUIは、ビジュアル中心のGUIタスクでGUIアシスタントを評価するために設計された、新しいマルチモーダルベンチマークである。 高品質なWebインストラクショナルビデオから得られたベンチマークは、プロフェッショナルと新しいソフトウェアに関わるタスクに焦点を当てている。 評価の結果,SoTAの大規模マルチモーダルモデルであるGPT4oでさえ,視覚中心のGUIタスクでは不十分であることが判明した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:08Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
  本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。 本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:28:38Z)
• MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning [65.60607895153692]
  MiniGPT-v2は、様々な視覚言語タスクをよりよく扱うための統一インターフェースとして扱うことができるモデルである。 モデルをトレーニングする際、異なるタスクに対してユニークな識別子を使うことを提案する。 以上の結果から,MiniGPT-v2は多くの視覚的質問応答および視覚的接地ベンチマークにおいて高い性能を達成できた。
  論文  参考訳（メタデータ） (2023-10-14T03:22:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。