論文の概要: Coding Agent Memory Post-Training II: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.14009v2
- Date: Thu, 12 Nov 2026 07:08:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.912118
- Title: Coding Agent Memory Post-Training II: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via On-Policy Distillation
- Title(参考訳): 学習後の符号化エージェントメモリ II: オンライン蒸留による長軸タスクの事前学習ファイル操作のメモリポテンシャルの解錠
- Abstract要約: 言語モデルエージェントは、相互作用履歴がモデルのアクティブコンテキストを超えた長い水平タスクに取り組む。
最近の研究は、オン・ポリケーション蒸留(OPD)を使って、その政策の一部にメモリ管理を施している。
本稿では,Shop,Coding,AutoResearch,General,Visualにまたがる長距離エージェントRL環境群であるCAMG-IIを紹介する。
- 参考スコア(独自算出の注目度): 18.718790638560602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-model agents increasingly tackle long-horizon tasks whose interaction histories exceed the model's active context. They must therefore decide what to write down and what to read back, and when to do either. Recent work has begun to use on-policy distillation (OPD) to make memory control part of the policy, relying on memory tools and compaction protocols that lie outside either model's pre-training. However, this weakens the distillation on both sides: the teacher cannot give useful guidance on an interface it has never used, and the student samples too few meaningful memory actions for that guidance to take effect. To study this problem, we introduce Coding Agent Memory Gym II (CAMG-II), a suite of long-horizon agentic-RL environments spanning Shop, Coding, AutoResearch, General, and Visual. Alongside each environment's native task interface, CAMG-II provides ordinary Bash access and an episode-persistent workspace, enabling the policy to create, revise, search, and reuse files as memory across context replacements. We also introduce Coding Agent Memory Post-Training II (CAMP-II), which trains a single policy jointly across all five environments with fully asynchronous OPD to learn this file-based memory behavior directly from a frozen teacher with a prior for file operations. On CAMG-II, CAMP-II obtains 2.97 times the gain of the strongest OPD baseline. The memory behavior CAMP-II learns generalizes to two external benchmarks, Terminal-Bench 2.1 and SWE-Bench Pro V2, with improved success rates.
- Abstract(参考訳): 言語モデルエージェントは、相互作用履歴がモデルのアクティブなコンテキストを超えた長い水平タスクにますます取り組みます。
そのため、何を書くか、何を読むか、いつ読むかを決めなければならない。
最近の研究は、オン・ポリシー蒸留(OPD)を使用して、メモリ管理をポリシーの一部にし、どちらのモデルの事前訓練の外側にも置かれるメモリツールや圧縮プロトコルに依存している。
しかし、このことは両面の蒸留を弱める:教師は使用したことのないインターフェースに関する有用なガイダンスを与えることができず、学生はそのガイダンスを実行するために意味のある記憶アクションをあまりに少なくサンプリングする。
そこで本研究では,Shop,Coding,AutoResearch,General,Visualにまたがる長距離エージェントRL環境群であるCoding Agent Memory Gym II(CAMG-II)を紹介する。
それぞれの環境のネイティブタスクインターフェースに加えて、CAMG-IIは通常のBashアクセスとエピソードパーシスタントなワークスペースを提供し、コンテキスト置換によるファイルの生成、修正、検索、再利用を可能にする。
また,CAMP-II (Coding Agent Memory Post-Training II) を導入し,ファイル操作に先立ってフリーズした教師から直接,このファイルベースのメモリ動作を学習するために,完全に非同期なOPDで5つの環境すべてに1つのポリシーを共同で訓練する。
CAMG-IIでは、CAMP-IIは最強のPDベースラインの2.97倍のゲインを得る。
CAMP-IIは2つの外部ベンチマークである Terminal-Bench 2.1 と SWE-Bench Pro V2 に一般化し、成功率を向上させる。
関連論文リスト
- Coding Agent Memory Post-training: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via Reinforcement Learning [23.27669373387788]
本稿では,CAMG,Shop,Coding,DeepResearch,AutoResearchにまたがる長距離エージェント-RL環境について紹介する。
CAMGは実行可能なシェルアクセスとエピソードパーシスタントなワークスペースを提供し、エージェントがファイルのメモリとして作成、修正、検索、再利用を可能にする。
また,CAMG-RLを導入し,完全に非同期なPPOを持つ4つの環境すべてに対して,単一のポリシを共同でトレーニングする。
論文 参考訳(メタデータ) (2026-09-28T06:40:28Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - MemToolAgent: Leveraging Memory for Tool Using Agents Based on Environment and User Feedback [5.237822504687579]
本稿では,メモリ管理によるツール使用を改善するフレームワークであるMemToolAgentを提案する。
本研究は,(1)汎用・パーソナライズされたツールの使用を微調整なしで改善する統一型メモリエントリフォーマット,(2)環境やユーザからのフィードバックを取り入れたリフレクションベースのメモリ抽出,(3)メモリ類似度分布に基づく過去の経験数を選択する検索モジュールの3つの主要なコントリビューションを有する。
論文 参考訳(メタデータ) (2026-06-06T00:15:00Z) - MemTrain: Self-Supervised Context Memory Training [40.64801276577851]
既存のメモリエージェントアプローチは通常、下流タスクで強化学習を施したエンドツーエンドで訓練される。
MemTrainは、LLMエージェントのコンテキストメモリ能力を高めるための自己教師型トレーニングフレームワークである。
MemTrainは、異なるモデル間のダウンストリームメモリ集約推論性能を一貫して改善する。
論文 参考訳(メタデータ) (2026-06-02T05:56:24Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳(メタデータ) (2026-05-20T07:25:33Z) - LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。
LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。
AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
論文 参考訳(メタデータ) (2026-05-12T17:59:34Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳(メタデータ) (2025-08-27T12:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。