論文の概要: Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2601.15086v1
• Date: Wed, 21 Jan 2026 15:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.422382
• Title: Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning
• Title（参考訳）: メモリ保持は強化学習におけるマスターメモリタスクには十分ではない
• Authors: Oleg Shchendrigin, Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov,
• Abstract要約: 実世界の意思決定は、安定かつ適応性のあるメモリに依存する。 既存の強化学習ベンチマークとメモリ拡張エージェントは、主に保持に焦点を当てている。 部分的な可観測性の下で連続的なメモリ更新を明示的にテストするベンチマークを導入する。
• 参考スコア（独自算出の注目度）: 44.94110361062394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective decision-making in the real world depends on memory that is both stable and adaptive: environments change over time, and agents must retain relevant information over long horizons while also updating or overwriting outdated content when circumstances shift. Existing Reinforcement Learning (RL) benchmarks and memory-augmented agents focus primarily on retention, leaving the equally critical ability of memory rewriting largely unexplored. To address this gap, we introduce a benchmark that explicitly tests continual memory updating under partial observability, i.e. the natural setting where an agent must rely on memory rather than current observations, and use it to compare recurrent, transformer-based, and structured memory architectures. Our experiments reveal that classic recurrent models, despite their simplicity, demonstrate greater flexibility and robustness in memory rewriting tasks than modern structured memories, which succeed only under narrow conditions, and transformer-based agents, which often fail beyond trivial retention cases. These findings expose a fundamental limitation of current approaches and emphasize the necessity of memory mechanisms that balance stable retention with adaptive updating. Our work highlights this overlooked challenge, introduces benchmarks to evaluate it, and offers insights for designing future RL agents with explicit and trainable forgetting mechanisms. Code: https://quartz-admirer.github.io/Memory-Rewriting/
• Abstract（参考訳）: 環境は時間とともに変化し、エージェントは長い地平線上で関連情報を保持し、状況が変わったときに古いコンテンツを更新または上書きする必要がある。 既存のReinforcement Learning (RL)ベンチマークとメモリ拡張エージェントは、主に保持に重点を置いており、メモリ書き換えの同等な能力は、ほとんど探索されていないままである。 このギャップに対処するために、我々は、部分観測可能性の下で連続的なメモリ更新を明示的にテストするベンチマーク、すなわち、エージェントが現在の観測よりもメモリに頼らなければならない自然な設定を導入し、それを繰り返し、トランスフォーマーベース、構造化されたメモリアーキテクチャの比較に使用する。 実験の結果, 従来のリカレントモデルでは, 単純性に拘わらず, メモリ書き換え作業の柔軟性と堅牢性は, 狭い条件下でのみ成功し, かつ, 自明な保持ケースを超えて失敗するトランスフォーマーベースエージェントよりも高いことがわかった。 これらの知見は、現在のアプローチの基本的な制限を明らかにし、適応更新と安定した保持とバランスをとるメモリメカニズムの必要性を強調している。 我々の研究は、この見過ごされた課題を強調し、評価のためのベンチマークを導入し、明示的でトレーニング可能な忘れやすいメカニズムで将来のRLエージェントを設計するための洞察を提供する。 コード:https://quartz-admirer.github.io/Memory-Rewriting/

関連論文リスト

• Memory in the Age of AI Agents [217.9368190980982]
  この研究は、現在のエージェントメモリ研究の最新の展望を提供することを目的としている。 我々は,エージェントメモリ,すなわちトークンレベル,パラメトリック,潜時メモリの3つの支配的実現を同定する。 実用的な開発を支援するため、メモリベンチマークとオープンソースフレームワークの包括的な概要をコンパイルする。
  論文  参考訳（メタデータ） (2025-12-15T17:22:34Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。