論文の概要: What Memory Do GUI Agents Really Need? From Passive Records to Active Task-Driving States
- arxiv url: http://arxiv.org/abs/2606.31612v2
- Date: Thu, 02 Jul 2026 06:42:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 15:16:32.255034
- Title: What Memory Do GUI Agents Really Need? From Passive Records to Active Task-Driving States
- Title(参考訳): GUIエージェントが本当に必要なのは何か?パッシブレコードからアクティブなタスク駆動状態まで
- Abstract要約: モバイルGUIエージェントは、ページやアプリケーション間でのタスク関連データの読み込み、更新、再利用を必要とする長い水平タスクに直面している。
既存の方法は、メモリを主にパッシブストレージとして扱い、過去の観測が蓄積され、必要に応じて回収される。
本稿では,GUIエージェントメモリをパッシブストレージからアクティブに保守された実行状態に移行するアクティブタスク駆動メモリ(ATMem)を提案する。
- 参考スコア(独自算出の注目度): 29.883598855446976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile GUI agents increasingly face long-horizon tasks that require reading, updating, and reusing task-relevant data across pages and applications. Existing methods treat memory largely as passive storage, where past observations are accumulated and retrieved when needed. Yet retrieving a value does not reveal its current role in the workflow. The agent must still infer from accumulated records whether the value should be used now, has already been used, or must wait for a later dependency. This implicit reconstruction becomes unreliable in long trajectories with repeated values, distractors, and outdated states, causing repeated or missed operations. To address this, we propose Active Task Driving Memory (ATMem), which shifts GUI-agent memory from passive storage to an actively maintained execution state. ATMem maintains task-relevant information as a continually updated execution state that links each value to its role and current status, enabling action selection based on the current workflow state. While supervised fine-tuning enables the agent to construct ATMem, it does not teach when ATMem is beneficial. We therefore introduce STR-GRPO, an online reinforcement learning method that encourages selective use of ATMem based on its contribution to task completion. STR-GRPO contrasts memory-on and memory-off rollouts to estimate when memory use improves execution, while memory-cost-aware reward discourages costly memory usage that does not improve execution. To evaluate whether agents can complete all in-scope work while avoiding out-of-scope actions, we build a challenging mobile benchmark. From a list of near identical entries, agents must act on every entry that satisfies the instruction and reject entries that violate its constraints. We further introduce App-Level Progress and Scope-Aware F1 to measure these two dimensions separately.
- Abstract(参考訳): モバイルGUIエージェントは、ページやアプリケーション間でのタスク関連データの読み込み、更新、再利用を必要とする長い水平タスクに直面している。
既存の方法は、メモリを主にパッシブストレージとして扱い、過去の観測が蓄積され、必要に応じて回収される。
しかし、値を取得することは、ワークフローにおける現在の役割を明らかにしない。
エージェントは、今でも蓄積されたレコードから値が現在使われるか、既に使われているか、あるいは後続の依存関係を待たなければならない。
この暗黙の再構築は、繰り返し値、乱れ、時代遅れな状態を持つ長い軌道では信頼性が低下し、繰り返しまたは欠落した操作を引き起こす。
そこで本研究では,GUIエージェントメモリをパッシブストレージからアクティブな実行状態に移行するアクティブタスク駆動メモリ(ATMem)を提案する。
ATMemはタスク関連情報を継続的に更新された実行状態として維持し、各値をその役割と現在の状態にリンクし、現在のワークフロー状態に基づいてアクション選択を可能にする。
監督された微調整によりATMemを構築することができるが、ATMemがいつ有用かは教えない。
そこで我々は,タスク完了への貢献に基づいてATMemの選択的利用を促進するオンライン強化学習手法STR-GRPOを導入する。
STR-GRPOはメモリオンとメモリオフのロールアウトと対照的に、メモリ使用率の向上を見積もっている。
エージェントがスコープ外動作を回避しながら全作業が完了できるかを評価するために,我々は,挑戦的なモバイルベンチマークを構築した。
ほぼ同一のエントリのリストから、エージェントは命令を満たす全てのエントリに作用し、その制約に違反するエントリを拒否しなければならない。
さらに,App-Level ProgressとScope-Aware F1を導入して,これら2つの次元を別々に測定する。
関連論文リスト
- Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳(メタデータ) (2026-07-14T15:33:44Z) - AdMem: Advanced Memory for Task-solving Agents [13.611633561917513]
大規模言語モデル(LLM)はツール使用エージェントとしての約束を示すが、知識の記憶、整理、再利用を必要とする長期的タスクには制限がある。
本稿では,短期記憶と長期記憶を組み合わせた2段階設計において,セマンティック,エピソード,手続き記憶を統合した統合的・自動記憶フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-05T00:11:57Z) - STAMP: Training Explicit Memory for Mobile GUI Agents in Controllable and Scalable Virtual Environments [63.39393178045112]
モバイルエージェントは即座に反応制御を行うが、メモリを必要とする現実的なロングホライゾンタスクでは頻繁に失敗する。
制御可能な仮想環境を通じて,モバイルエージェントの明示的なメモリをトレーニングするフレームワークSTAMPを提案する。
結果のStampGUIエージェントは、メモリワールドベンチマークに新たなハイウォーターマークを設定し、例外的なメモリ精度とタスクレジリエンスを実証します。
論文 参考訳(メタデータ) (2026-05-28T04:00:13Z) - BOOKMARKS: Efficient Active Storyline Memory for Role-playing [67.91742986947936]
BookMARKSはロールプレイングエージェントのための検索ベースのメモリフレームワークである。
現在のタスクに対するタスク関連ブックマークを積極的に初期化し、維持し、更新する。
BookMARKSは16のアーティファクトから85文字のRPAメモリベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2026-05-13T22:48:24Z) - Mem-W: Latent Memory-Native GUI Agents [50.87647372904382]
本稿では,メモリをエージェントの連続的コンテキストの一部として扱う,潜在メモリネイティブなGUIエージェントであるMem-Wを紹介する。
4つのWebおよびモバイルナビゲーションベンチマークで、Mem-Wはさまざまなバックボーンとメモリ拡張ベースラインを一貫して改善している。
論文 参考訳(メタデータ) (2026-05-10T04:31:23Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳(メタデータ) (2026-02-18T09:49:14Z) - Enhancing Conversational Agents via Task-Oriented Adversarial Memory Adaptation [64.69535903624033]
本稿では,タスク実行をシミュレートすることで,メモリ構築と更新をタスク目標と整合させるアダクティブメモリ適応機構を提案する。
AMAは、様々な既存のメモリシステムに統合することができ、LongダイアログベンチマークであるLoCoMoの広範な実験により、その効果が示されている。
論文 参考訳(メタデータ) (2026-01-29T14:42:34Z) - Mem2ActBench: A Benchmark for Evaluating Long-Term Memory Utilization in Task-Oriented Autonomous Agents [20.357475946040054]
textscMem2ActBenchは、エージェントがツールベースのアクションを実行するために長期的なメモリを積極的に活用できるかどうかを評価するベンチマークである。
リバースジェネレーション法は400のツール使用タスクを生成し、ヒトの評価は91.3%が強いメモリ依存であることを確認した。
論文 参考訳(メタデータ) (2026-01-13T06:22:32Z) - Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。
10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
論文 参考訳(メタデータ) (2025-11-25T21:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。