論文の概要: Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents

• arxiv url: http://arxiv.org/abs/2506.17913v1
• Date: Sun, 22 Jun 2025 06:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.651304
• Title: Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents
• Title（参考訳）: GUIエージェントにおけるKahnemanのデュアルシステムインテリジェンスのためのフレームワーク
• Authors: Jinjie Wei, Jiyao Liu, Lihao Liu, Ming Hu, Junzhi Ning, Mingcheng Li, Weijie Yin, Junjun He, Xiao Liang, Chao Feng, Dingkang Yang,
• Abstract要約: 人間の動作に類似したGUI自動化のための適応学習を実現することにより,制限を克服する認知フレームワークであるCogniGUIを提案する。 エージェントシステムの一般化と適応性を評価するために,マルチアプリケーションナビゲーション,動的状態遷移,インターフェースのコヒーレンスなどを含む総合ベンチマークScreenSeekを導入する。 実験結果から,現在のGUIグラウンドベンチマークと新たに提案したベンチマークの両方において,CogniGUIが最先端の手法を上回ることが示された。
• 参考スコア（独自算出の注目度）: 15.303188467166752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical User Interface (GUI) agents have made significant progress in automating digital tasks through the utilization of computer vision and language models. Nevertheless, existing agent systems encounter notable limitations. Firstly, they predominantly depend on trial and error decision making rather than progressive reasoning, thereby lacking the capability to learn and adapt from interactive encounters. Secondly, these systems are assessed using overly simplistic single step accuracy metrics, which do not adequately reflect the intricate nature of real world GUI interactions. In this paper, we present CogniGUI, a cognitive framework developed to overcome these limitations by enabling adaptive learning for GUI automation resembling human-like behavior. Inspired by Kahneman's Dual Process Theory, our approach combines two main components: (1) an omni parser engine that conducts immediate hierarchical parsing of GUI elements through quick visual semantic analysis to identify actionable components, and (2) a Group based Relative Policy Optimization (GRPO) grounding agent that assesses multiple interaction paths using a unique relative reward system, promoting minimal and efficient operational routes. This dual-system design facilitates iterative ''exploration learning mastery'' cycles, enabling the agent to enhance its strategies over time based on accumulated experience. Moreover, to assess the generalization and adaptability of agent systems, we introduce ScreenSeek, a comprehensive benchmark that includes multi application navigation, dynamic state transitions, and cross interface coherence, which are often overlooked challenges in current benchmarks. Experimental results demonstrate that CogniGUI surpasses state-of-the-art methods in both the current GUI grounding benchmarks and our newly proposed benchmark.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは、コンピュータビジョンと言語モデルを活用することにより、デジタルタスクの自動化に大きな進歩を遂げている。 それにもかかわらず、既存のエージェントシステムは顕著な制限に直面している。 第一に、それらは進歩的推論よりも試行錯誤による意思決定に大きく依存しているため、対話的な出会いから学び、適応する能力が欠如している。 第二に、これらのシステムは、現実のGUIインタラクションの複雑な性質を十分に反映しない、過度に単純化された単一ステップ精度メトリクスを用いて評価される。 本稿では,このような制約を克服するための認知フレームワークであるCogniGUIを提案する。 Kahnemanのデュアルプロセス理論に触発されたアプローチでは,(1)GUI要素の即時階層解析を行うオムニパーサエンジン,(2)グループベース相対ポリシー最適化(GRPO)グラウンドエージェントの2つのコンポーネントを組み合わせて,ユニークな相対報酬システムを用いて複数のインタラクションパスの評価を行い,最小かつ効率的な運用経路の促進を行う。 この二重システム設計により、反復的な'探索学習熟達'サイクルが促進され、エージェントは蓄積された経験に基づいて時間とともに戦略を強化することができる。 さらに,エージェントシステムの一般化と適応性を評価するために,マルチアプリケーションナビゲーション,動的状態遷移,インターフェースのコヒーレンスを含む包括的なベンチマークであるScreenSeekを導入する。 実験結果から,現在のGUIグラウンドベンチマークと新たに提案したベンチマークの両方において,CogniGUIが最先端の手法を上回ることが示された。

関連論文リスト

• Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
  実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。 そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。 我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T04:12:36Z)
• A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
  グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。 大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。 本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
  論文  参考訳（メタデータ） (2025-03-27T17:58:31Z)
• Think Twice, Click Once: Enhancing GUI Grounding via Fast and Slow Systems [57.30711059396246]
  現在のグラフィカルユーザインタフェース(GUI)基盤システムは、自然言語命令に基づいてインターフェース要素を特定する。 人間の二重システム認識にインスパイアされたFocusは,高速予測と系統解析を組み合わせた新しいGUI基盤フレームワークである。
  論文  参考訳（メタデータ） (2025-03-09T06:14:17Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。