論文の概要: Remember Less, Adapt Longer: Bounded-State In-Context Reinforcement Learning with Recurrent Summary Memory

• arxiv url: http://arxiv.org/abs/2610.25758v1
• Date: Mon, 19 Oct 2026 04:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 11:45:32.134559
• Title: Remember Less, Adapt Longer: Bounded-State In-Context Reinforcement Learning with Recurrent Summary Memory
• Title（参考訳）: 忘れないで、Adapt Longer: 繰り返しの要約記憶を伴う境界状態のインコンテキスト強化学習
• Abstract要約: テキスト内強化学習により、エージェントはパラメータを更新せずに新しいタスクに適応できる。 メモリを使用する既存のアプローチは、過去のエクスペリエンスへのアクセスに対して制限付きコストをトレードオフする。 本稿では,最近のインタラクションの短時間動作バッファに対応するポリシーであるRecurrent Summary Memory (RSM)を紹介する。
• 参考スコア（独自算出の注目度）: 8.098913700149966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context reinforcement learning (ICRL) enables agents to adapt to new tasks without parameter updates, relying on memory to retain what they learn from experience. For agents operating continually, existing approaches using memory trade off bounded cost against access to past experience. Approaches using growing memories, such as full-history attention and accumulating summaries, incur storage and per-decision costs that increase with task length. Fixed-size memories bound storage but restrict access: sliding windows discard older steps, while recurrent networks compress even recent interactions into a hidden state. We introduce Recurrent Summary Memory (RSM), a Transformer policy that attends exactly to a short working buffer of recent interactions and carries a fixed-capacity summary of earlier experience. When the buffer fills, RSM rewrites the summary from its previous contents and the buffer, then clears the buffer, so deployment memory and per-decision cost stay $O(1)$ in task length. On long-running partially observable tasks, frozen RSM policies sustain their adapted performance for eight times the training horizon with about 1% of full-history memory, ending ahead of every evaluated baseline while growing memories deteriorate. When the task configuration changes mid-run, RSM re-adapts better than growing and recurrent memories. Clearing the summary or blocking the policy's access to it removes its benefit, while swapping in another task's summary steers behaviour towards that task. Together, these results show that our fixed-capacity summary can sustain in-context adaptation far beyond the training horizon.
• Abstract（参考訳）: インコンテキスト強化学習(ICRL)により、エージェントはパラメータ更新なしで新しいタスクに適応でき、メモリに依存して経験から学んだことを保持できる。 継続的な操作を行うエージェントに対して、メモリを使用する既存のアプローチは、過去のエクスペリエンスへのアクセスに対して制限付きコストをトレードオフする。 フルヒストリー・アテンション(英語版)や累積サマリー(英語版)、インカー・ストレージ(英語版)、タスク長の増加に伴う意思決定コストなど、成長する記憶を利用するアプローチ。 スライディングウィンドウは古いステップを捨て、リカレントネットワークは最近のインタラクションを隠された状態に圧縮する。 Recurrent Summary Memory (RSM) は、トランスフォーマーのポリシーで、最近のインタラクションの短い動作バッファに正確に対応し、以前の体験の固定容量サマリを実行する。 バッファが満杯になると、RSMは以前の内容とバッファの要約を書き換え、バッファをクリアし、デプロイメントメモリとデプロイメント毎のコストはタスク長が$O(1)$である。 長期にわたる部分的に観察可能なタスクでは、凍結したRSMポリシは、トレーニングの地平線の8倍のパフォーマンスをフルヒストリーメモリの約1%で維持し、評価されたベースラインのすべてに先立ち、記憶が悪化する。 タスク設定が実行中に変更されると、RSMは成長やリカレントメモリよりも順応する。 要約をクリアするか、ポリシーのアクセスをブロックするかは、そのメリットを排除し、他のタスクの要約に切り替えることで、そのタスクに向けて振舞う。 これらの結果から,固定容量の要約はトレーニングの地平線をはるかに超え,文脈内適応を維持できることが示唆された。

関連論文リスト

• AMBER: Training Long-Horizon Web Agents through Append-Only Memory [15.393125434303562]
  AMBER(Append-only Memory Bank for Evidence Retention)は、エージェントがフリーフォームメモリの推論、動作、書き込みを共同で学習するフレームワークである。 WebArena Liteでは、AMBERは上書きベースのメモリよりも平均的な成功率を4.09ポイント向上させる。
  論文  参考訳（メタデータ） (2026-10-05T17:11:07Z)
• Retrieval-Driven Memory Reconsolidation for Long-Term LLM Agents [39.55670043123564]
  既存のメモリシステムは、新しい情報が到着したときにメモリを更新する。 検索フィードバックは、将来のアクセスのためにメモリを再編成するために利用されることはめったにない。 LLMエージェントの長期記憶を継続的に進化させるフレームワークである textbfREALM を提案する。
  論文  参考訳（メタデータ） (2026-09-13T05:17:37Z)
• CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents [12.963751758893594]
  本稿では,検索ポリシとメモリバンクを併用するクローズドループフレームワークを提案する。 textbfCoEvo-Memは7つのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-03T06:04:51Z)
• UniMem: Complementary Episodic-to-Parametric Memory for Boundary-Agnostic Task Streams [77.52140119830241]
  自律型メモリ管理のためのセルフルーティングフレームワークUniMemを提案する。 UniMemは学習可能なルーティングトークンをメモリコントローラとして使用し、相補的なメモリ経路間の適応的な調整を可能にする。 長距離ストリーミングタスクシーケンスの実験では、UniMemは実行の忠実さを維持しながらベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-28T17:28:21Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• AdMem: Advanced Memory for Task-solving Agents [13.611633561917513]
  大規模言語モデル(LLM)はツール使用エージェントとしての約束を示すが、知識の記憶、整理、再利用を必要とする長期的タスクには制限がある。 本稿では,短期記憶と長期記憶を組み合わせた2段階設計において,セマンティック,エピソード,手続き記憶を統合した統合的・自動記憶フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-05T00:11:57Z)
• Learning to Remember: End-to-End Training of Memory Agents for Long-Context Reasoning [18.621823772319154]
  本稿では,メモリ操作と質問応答を一つのポリシーで統一するエンドツーエンド強化学習フレームワークを提案する。 UMAは、グローバルコンテキストのためのコンパクトなコアサマリと、明示的なCRUDをサポートする構造化メモリバンクという、二重メモリ表現を維持している。 Ledger-QA、Test-Time Learning、そしてCurcurate Retrievalにまたがる13のデータセットのうち、UMAは動的推論と学習タスクの長いコンテキストとRAGベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-13T16:54:23Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
  大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。 既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。 本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
  論文  参考訳（メタデータ） (2026-01-05T08:24:16Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。