論文の概要: ALER: Adaptive Learnable Experience Rewriting for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00592v1
• Date: Wed, 30 Sep 2026 18:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.723165
• Title: ALER: Adaptive Learnable Experience Rewriting for Reinforcement Learning
• Title（参考訳）: ALER:強化学習のための適応型学習体験書き換え
• Abstract要約: 強化学習では、後続の観察により、記憶された情報を時代遅れにしたり、次の決定に意味するものを変更することができる。 本稿では,LSTMとスロットメモリをペアリングするエージェントであるALER(Adaptive Learnable Experience Rewriting)を紹介する。 ALERは16のEndless T-Maze構成で少なくとも0.82ドル、Rune T-Maze構成で少なくとも0.99ドルに達する。
• 参考スコア（独自算出の注目度）: 44.94110361062394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In partially observable reinforcement learning (RL), a later observation can make stored information obsolete or change what it implies for the next decision. Memory architectures and benchmarks for RL mostly test retention, the ability to keep information unchanged until it is needed. We formalize two further requirements. Rewriting sets the decision-relevant content to a value independent of the old one, and experience fusion transforms the old content by a rule that a later observation specifies. For tasks built from such updates, we count the memory states that a solution needs, and several baselines reach their lowest success rates on compositions that need more states. We introduce ALER (Adaptive Learnable Experience Rewriting), an agent that pairs an LSTM with a slot memory. An independently addressed Gumbel-Softmax write that concentrates its weight on one slot overwrites that slot, and a learned gate fuses the retrieved content with the recurrent state before the policy and value heads. We also introduce Rune-Mazes, three environments in which rune observations invert, cancel, reset, or repeat updates of a hidden cue under vector and pixel observations. Against seven baselines, ALER reaches a success rate of at least $0.82$ in all sixteen Endless T-Maze configurations and at least $0.99$ on all five Rune T-Maze compositions, and it has the highest mean success rate on four-branch Rune Multi-Corridor with an Invert rune. On pixel-based Rune MiniGrid Memory, it has a higher mean success rate than PPO-LSTM in eight of ten configurations. Project page: https://quartz-admirer.github.io/ALER-Adaptive-Learnable-Experience-Rewriting/.
• Abstract（参考訳）: 部分的に観測可能な強化学習(RL)では、後続の観測により記憶された情報が陳腐化したり、次の決定に意味するものを変更することができる。 RLのメモリアーキテクチャとベンチマークは、主にテストの保持であり、必要になるまで情報を変更し続ける能力である。 我々はさらに2つの要件を定式化する。 書き換えは、決定関連内容が古い内容とは無関係な値に設定され、経験融合は、後続の観察が指定する規則によって古い内容が変換される。 このような更新から構築されたタスクについては、ソリューションが必要なメモリ状態と、より多くのステートを必要とするコンポジションにおいて、いくつかのベースラインが最低成功率に達することをカウントします。 本稿では,LSTMとスロットメモリをペアリングするエージェントであるALER(Adaptive Learnable Experience Rewriting)を紹介する。 1つのスロットに重みを集中させるGumbel-Softmax書き込みは、そのスロットを上書きし、学習されたゲートは、ポリシーと値ヘッドの前に、取得したコンテンツと再帰状態とを融合させる。 ベクターとピクセルの観測の下で隠れたキューの逆転、キャンセル、リセット、更新を繰り返す3つの環境についても紹介する。 7つのベースラインに対して、ALERは、16のEndless T-Maze構成で少なくとも0.82ドル、全5のRune T-Maze構成で少なくとも0.99ドルという成功率に達し、Invert runeを持つ4分岐Rune Multi-Corridorの平均成功率を持つ。 画素ベースのRune MiniGridメモリでは、PPO-LSTMよりも平均成功率が高い。 プロジェクトページ: https://quartz-admirer.github.io/ALER-Adaptive-Learnable-Experience-Rewriting/

関連論文リスト

• Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses [83.32611586724165]
  Recurisは、ロングホライゾンエージェントハーネスのためのExperiential-Working Memoryアーキテクチャである。 Work Memoryはタスクの進捗を追跡し、Experiential Memoryからスキル選択をガイドする。 4つのロングホライズンベンチマークと10のモデルでRecurisは37のモデルベンチマークペアのうち35のタスク成功を改善している。
  論文  参考訳（メタデータ） (2026-08-25T17:56:35Z)
• Self-Play Meets Skill Evolution: Self-Evolving Search Agents that Pose, Solve, and Remember [26.754732469136385]
  セルフプレイエージェントは、ターゲットベンチマークからの質問なしにトレーニング問題を生成することができるが、そのカリキュラムには永続的な状態がない。 textbfSESA (Self-Evolving Skill-Augmented Agent) を導入する。
  論文  参考訳（メタデータ） (2026-07-31T14:32:52Z)
• The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory [53.50071717647285]
  我々はJanusを提案する。Janusは、候補メモリの更新を受け付けるか、以前のメモリを保持するかを決定するプラグインメモリコントローラである。 Janus は Memory Momentum Trigger を使用して、メモリ更新軌道における不審な偏差を識別する。 Janusは、対応するベース更新器に対して、平均精度を+2.7から+4.6ポイント改善する。
  論文  参考訳（メタデータ） (2026-06-30T04:33:18Z)
• From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory [27.810603317768997]
  大規模言語モデル(LLM)エージェントは、テスト時のエクスペリエンス改善が重要となる長時間実行環境にますますデプロイされる。 本稿では,メモリ更新処理を明示的にトレーニングし,逐次的相互作用による凍結LDMの性能向上を図るプラグインメモリコンパレータであるMemoPilotを提案する。 マルチラウンドRock-Paper-Scissors(RPS)とLimit Texas Hold'em(LHE)の2つのテストベッド上でMemoPilotを評価する。
  論文  参考訳（メタデータ） (2026-06-07T14:53:19Z)
• MemQ: Integrating Q-Learning into Self-Evolving Memory Agents over Provenance DAGs [47.66730296440261]
  我々は,新たなメモリが生成されるたびに記憶が取得されたことを記録した証明DAGを通じて,クレジットを後方に伝播するMemQを紹介した。 6つのベンチマークで、MemQは、一般化評価とランタイム学習の6つすべてで最高成功率を達成した。 さらに、$と$がEC-MDP構造とどのように相互作用するかを研究し、パラメータ選択と将来の研究の原則的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-05-08T18:30:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。