論文の概要: Naive Visual Memory is Not Enough: A Failure-Mode Study of GUI Agents

• arxiv url: http://arxiv.org/abs/2606.14106v1
• Date: Fri, 12 Jun 2026 04:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.747144
• Title: Naive Visual Memory is Not Enough: A Failure-Mode Study of GUI Agents
• Title（参考訳）: Naive Visual Memoryは十分ではない:GUIエージェントの失敗修正研究
• Authors: Seoyoung Choi, Minseok Ko, Hyunseok Lee, Kunwoong Kim, Woomin Song, Chanseok Jeon, Jinwoo Shin,
• Abstract要約: Action-Grounded Visual Memory (AGMem) は、グラフィカルユーザインタフェース(GUI)エージェントのためのアクション基底メモリフレームワークである。 AGMemはタスク成功率をフルイメージメモリで33.3%向上させる。
• 参考スコア（独自算出の注目度）: 39.28424613376129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphical User Interface (GUI) agents are increasingly used to automate complex computer tasks across applications, websites, and operating systems. To improve their reliability, recent work has introduced experiential memory, where agents retrieve prior trajectories to guide decision-making in similar states. More recent approaches further extend this idea to visual memory by storing and retrieving screenshots from past interactions, providing agents with richer contextual information than text-only memories. However, the effect of visual memory in GUI agents remains insufficiently understood: it is unclear which failures visual memory mitigates, or which failures it exacerbates. To systematically analyze the effect of visual memory, we introduce a taxonomy of four GUI agent failures (i.e., cognitive failure, visual state misunderstanding, hidden operation blindness, and grounding error) that map to distinct stages of the perception-reasoning-action pipeline. We find that prepending full-image memory has a divergent effect on the failure distribution: it reduces state-level failures but worsens action-level ones, and increases hidden operation blindness and grounding error. Motivated by this finding, we propose Action-Grounded Visual Memory (AGMem), an action-grounded memory framework for GUI agents. The core idea of AGMem is to store image crops that capture the local GUI region closely related to a successful action or a recovery, rather than storing full screenshots. Experiments on OSWorld show that AGMem improves task success rates by 33.3 % over full-image memory. These results demonstrate that AGMem is an effective representation for visual memory in GUI agents.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは、アプリケーション、ウェブサイト、オペレーティングシステム間で複雑なコンピュータタスクを自動化するのにますます使われている。 信頼性を向上させるために、最近の研究は経験的記憶を導入し、エージェントは類似した状態の意思決定をガイドするために、事前の軌跡を検索する。 より最近のアプローチでは、過去のインタラクションからスクリーンショットを保存して検索することで、このアイデアをさらにビジュアルメモリに拡張し、テキストのみのメモリよりもリッチなコンテキスト情報を提供する。 しかし、GUIエージェントにおける視覚的メモリの効果は未だ十分に理解されていない。 視覚記憶の効果を系統的に解析するために,認知障害,視覚状態の誤解,隠れ操作の盲点,接地誤りの4つのGUIエージェント障害の分類法を導入する。 状態レベルの障害を減少させるが、アクションレベルの障害を悪化させ、隠れた動作の盲点と接地誤差を増大させる。 この発見に触発されて、GUIエージェントのためのアクショングラウンドドメモリフレームワークであるAGMem(Action-Grounded Visual Memory)を提案する。 AGMemの中核となる考え方は、完全なスクリーンショットを格納するのではなく、成功しているアクションやリカバリと密接に関連するローカルGUI領域をキャプチャするイメージクロップを格納することである。 OSWorldの実験では、AGMemはフルイメージメモリ上でのタスク成功率を33.3%改善している。 これらの結果から,AGMemはGUIエージェントの視覚記憶に有効な表現であることが示された。

関連論文リスト

• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• STAMP: Training Explicit Memory for Mobile GUI Agents in Controllable and Scalable Virtual Environments [63.39393178045112]
  モバイルエージェントは即座に反応制御を行うが、メモリを必要とする現実的なロングホライゾンタスクでは頻繁に失敗する。 制御可能な仮想環境を通じて,モバイルエージェントの明示的なメモリをトレーニングするフレームワークSTAMPを提案する。 結果のStampGUIエージェントは、メモリワールドベンチマークに新たなハイウォーターマークを設定し、例外的なメモリ精度とタスクレジリエンスを実証します。
  論文  参考訳（メタデータ） (2026-05-28T04:00:13Z)
• MementoGUI: Learning Agentic Multimodal Memory Control for Long-Horizon GUI Agents [47.19679323562172]
  MLLMベースのGUIエージェントのためのプラグインエージェントメモリフレームワークである textbfMementoGUI を紹介する。 MementoCoreは、オンラインメモリの選択、圧縮、検索のための学習されたコントローラである。 実験によると、MementoGUIは履歴なし、履歴再生、テキストのみのメモリベースラインよりもGUIエージェントを一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-18T16:57:36Z)
• Mem-W: Latent Memory-Native GUI Agents [50.87647372904382]
  本稿では,メモリをエージェントの連続的コンテキストの一部として扱う,潜在メモリネイティブなGUIエージェントであるMem-Wを紹介する。 4つのWebおよびモバイルナビゲーションベンチマークで、Mem-Wはさまざまなバックボーンとメモリ拡張ベースラインを一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-10T04:31:23Z)
• Chain-of-Memory: Enhancing GUI Agents for Cross-Application Navigation [6.815990151030097]
  CoM(Chain-of-Memory)は、GUI(Graphical User Interface)エージェントにおいて、短期記憶と長期記憶を明示的にモデル化するための新しいアプローチである。 CoMはGUIエージェントがタスク状態を理解し、重要な履歴情報を永続的に保持することを可能にする。
  論文  参考訳（メタデータ） (2025-06-22T20:17:46Z)
• TOBUGraph: Knowledge Graph-Based Retrieval for Enhanced LLM Performance Beyond RAG [3.3593672127922836]
  TOBUGraphは、構造化されていないデータから知識グラフを構築するグラフベースの検索フレームワークである。 構造化された知識とデータ間の多様な関係を抽出し、RAGのテキストとテキストの類似性を超えた。 ToBUGraphの有効性を実証する。TOBUは、個人記憶の組織化と検索のための実世界のアプリケーションである。
  論文  参考訳（メタデータ） (2024-12-06T22:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。