論文の概要: Learning How to Remember: Memory Modality Selection for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.17928v1
• Date: Tue, 13 Oct 2026 08:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.556599
• Title: Learning How to Remember: Memory Modality Selection for GUI Agents
• Title（参考訳）: GUIエージェントのメモリモダリティ選択
• Abstract要約: VLMベースのGUIエージェントにおいて,メモリモダリティの体系的研究を行う。 好みのメモリ表現が強くステップ依存していることが分かりました。 テキストと視覚のメモリ表現を動的に選択するルーティングフレームワークである textbfSwitchMem を導入する。
• 参考スコア（独自算出の注目度）: 13.56597308912035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in vision-language models (VLMs) have substantially improved the capabilities of GUI agents, while memory augmentation has emerged as a promising approach for reusing knowledge from past interactions. However, existing memory augmented GUI agents typically adopt a fixed representation strategy, providing retrieved experience as a static modality. It remains unclear whether a single memory modality is consistently optimal, or how modality preference changes across interaction steps. In this work, we conduct a systematic study of memory modality in VLM based GUI agents. Across GUI benchmarks, we find that the preferred memory representation is strongly step dependent. Motivated by the finding, we introduce \textbf{SwitchMem}, a routing framework that dynamically selects between textual and visual memory representations at each step. Across three GUI benchmarks, SwitchMem outperforms memory augmented baselines that rely on static memory representations. Our findings validate our claim that memory modality is a step dependent decision rather than a fixed design choice. Code and project resources are available at https://txxnrd.github.io/switchmem
• Abstract（参考訳）: 視覚言語モデル(VLM)の最近の進歩はGUIエージェントの能力を大幅に向上させ、メモリ拡張は過去のインタラクションから知識を再利用するための有望なアプローチとして現れている。 しかし、既存のメモリ拡張GUIエージェントは通常、固定表現戦略を採用し、取得したエクスペリエンスを静的なモダリティとして提供する。 単一のメモリモダリティが一貫して最適であるか、相互作用ステップ間でモダリティの嗜好がどう変化するのかは、まだ不明である。 本稿では,VLMベースのGUIエージェントにおいて,メモリモダリティの体系的研究を行う。 GUIベンチマークを通して、好ましいメモリ表現が強くステップ依存していることが分かりました。 この発見に触発され,各ステップでテキストと視覚のメモリ表現を動的に選択するルーティングフレームワークである \textbf{SwitchMem} を紹介した。 3つのGUIベンチマークで、SwitchMemは静的メモリ表現に依存するメモリ拡張ベースラインを上回っている。 メモリモダリティは固定設計の選択よりもステップ依存的な決定である,という我々の主張を検証した。 コードとプロジェクトリソースはhttps://txxnrd.github.io/switchmemで入手できる。

関連論文リスト

• Mechanistic Attention Guidance for Agent Memory Refinement [32.57216046158823]
  検索ヘッドアテンションは,セグメントレベルのメモリ使用量を明らかにするためのメカニスティック信号を提供する。 本稿では,注意による利用パターンを用いてセグメントレベルのメモリ更新を誘導するフレームワークであるAttention-Guided Memory Refinement (AGMR)を提案する。
  論文  参考訳（メタデータ） (2026-07-20T07:17:50Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MementoGUI: Learning Agentic Multimodal Memory Control for Long-Horizon GUI Agents [47.19679323562172]
  MLLMベースのGUIエージェントのためのプラグインエージェントメモリフレームワークである textbfMementoGUI を紹介する。 MementoCoreは、オンラインメモリの選択、圧縮、検索のための学習されたコントローラである。 実験によると、MementoGUIは履歴なし、履歴再生、テキストのみのメモリベースラインよりもGUIエージェントを一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-18T16:57:36Z)
• EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective [21.66000179149483]
  EvoMemBenchは、メモリスコープとメモリ内容の2つの軸に沿って編成された統一ベンチマークである。 本稿では,15個の代表記憶法と強い長文ベースラインを標準プロトコルで比較する。 結果は、現在のメモリシステムは、まだ一般的な解決策には程遠いことを示している。
  論文  参考訳（メタデータ） (2026-05-18T13:54:38Z)
• Mem-W: Latent Memory-Native GUI Agents [50.87647372904382]
  本稿では,メモリをエージェントの連続的コンテキストの一部として扱う,潜在メモリネイティブなGUIエージェントであるMem-Wを紹介する。 4つのWebおよびモバイルナビゲーションベンチマークで、Mem-Wはさまざまなバックボーンとメモリ拡張ベースラインを一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-10T04:31:23Z)
• Graph-based Agent Memory: Taxonomy, Techniques, and Applications [63.70340159016138]
  メモリはLarge Language Model(LLM)ベースのエージェントの中核モジュールとして出現する。 さまざまなパラダイムの中でグラフは、関係依存をモデル化する本質的な能力のため、エージェントメモリの強力な構造として際立っている。 本調査では, エージェントメモリの総合的な検討について, グラフベースの観点から述べる。
  論文  参考訳（メタデータ） (2026-02-05T13:49:05Z)
• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
  メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。 次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
  論文  参考訳（メタデータ） (2025-05-01T17:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。