論文の概要: MEMENTO: Learning Context Management for Long Context Processing Agents

• arxiv url: http://arxiv.org/abs/2611.00244v1
• Date: Fri, 30 Oct 2026 18:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.388141
• Title: MEMENTO: Learning Context Management for Long Context Processing Agents
• Title（参考訳）: MementO: 長期処理エージェントのためのコンテキスト管理学習
• Abstract要約: 本稿では,Qwen3-8B上に構築された長期コンテキストエージェントであるMementOについて述べる。 筆者らはまず,後視で生成した音符を用いた合成アノテート軌跡の微調整を行い,回答の正しさ,音質の校正,信頼度に基づくバックトラッキングを組み合わせた報酬を用いてRLで補強した。
• 参考スコア（独自算出の注目度）: 27.72107353595243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents that operate over long inputs must perform context management: deciding what to retain in a fixed-size context window. A common approach is compaction, where the model replaces its history with a self-generated note. Yet off-the-shelf agentic models, including GPT-5.5 and GLM-5.3, often write ineffective notes, and reinforcement learning (RL) alone rarely discovers useful note-taking behavior. We present MEMENTO, a long-context agent built on Qwen3-8B and trained to manage its context through compaction. We first bootstrap note-taking by fine-tuning on synthetic trajectories annotated with notes generated in hindsight, then reinforce it with RL using a reward that combines answer correctness, note-quality heuristics, and confidence calibration. Although trained only to compact into a fresh window, MEMENTO extends at test time to strategies such as context folding and confidence-based backtracking. On book-level question answering across four benchmarks, with books of up to 2.5M tokens, MEMENTO raises Qwen3-8B's accuracy from 36.9% to 67.8% while never holding more than 20K tokens in context. It outperforms GPT-5.5 agent in the same harness (13.1%) and full book context (56.7%) at less than 1/50 the cost. It also nearly matches a ~100x larger GLM-5.3 agent (69.3%) at 1/9 the cost, and comes within 6.4 points of GLM-5.3 full context at 1/26 the cost.
• Abstract（参考訳）: 長い入力で操作するLLMエージェントは、コンテキスト管理を実行する必要がある: 固定サイズのコンテキストウィンドウに保持すべきものを決定する。 一般的なアプローチはコンパクト化であり、モデルはその歴史を自己生成ノートに置き換える。 しかし、GPT-5.5 や GLM-5.3 のような市販のエージェントモデルは、しばしば非効率なメモを書き、強化学習(RL)だけは、有用なメモ取り動作を発見することは滅多にない。 本稿では,Qwen3-8B上に構築された長期コンテキストエージェントであるMementOについて述べる。 まず、後視で生成された音符に注釈を付けた合成軌跡を微調整し、答えの正しさ、音質のヒューリスティックス、信頼度校正を組み合わせた報酬を用いてRLで補強する。 新たなウィンドウにコンパクト化するようにのみ訓練されているが、MementOはテスト時にコンテキストの折り畳みや信頼性ベースのバックトラックといった戦略に拡張されている。 最大2.5万トークンの書籍を含む4つのベンチマークで書籍レベルの質問に答えると、MementOはQwen3-8Bの精度を36.9%から67.8%に引き上げるが、20万トークン以上はコンテキストに保持しない。 同じハーネス(13.1%)とフルブックコンテキスト(56.7%)でGPT-5.5エージェントを1/50以下のコストで上回ります。 また、約100倍のGLM-5.3エージェント(69.3%)を1/9のコストで使用し、GLM-5.3のフルコンテキストの6.4ポイント以内のコストで使用することができる。

関連論文リスト

• Evaluating Whether LLMs Can Reliably Connect the DOTs? [4.307648859471192]
  本研究では,4つの物語タイプにまたがる1～3つの文をマスキングして構築した,物語入力のための9.2Kインスタンスのベンチマークを紹介する。 その結果, モデルスケールは, 浸透品質を確実に予測できないことがわかった。 短い物語とドメインの特徴は、補充位置単独よりもタスクの難易度を予測する強力な指標として現れる。
  論文  参考訳（メタデータ） (2026-09-29T19:00:54Z)
• Context Language Models [96.98860474374459]
  CLMを既存のモデルでゼロショットで構築することは、様々なタスクでSOTAコンテキスト管理戦略より優れている。 CLMは、標準的なスキル最適化ループを通じて進化した自然言語命令で操ることができることを示す。 我々は、CLMサービスのためのSuffixキャッシュ再利用を共同設計し、サーバサイドの計算を標準のSGLangと比較して35%削減した。
  論文  参考訳（メタデータ） (2026-09-29T14:50:08Z)
• Let Credit Follow Computation: Architecture-Aware Credit Transport for Large Language Model Reinforcement Learning [0.3208888890455612]
  大規模言語モデル強化学習(LLM RL)における信用割当は3つの対象に分けることができる。 最近の研究は、証拠、サンプリング、および幾何の更新を大幅に改善しているが、輸送オペレータは通常、アーキテクチャに依存しない。 計算条件付きクレジットトランスポート(CCT)は,動作ポリシの内部計算の分離統計が因果カーネルをパラメータ化する一般的なフレームワークである。
  論文  参考訳（メタデータ） (2026-08-21T16:25:26Z)
• CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents [46.180980184707416]
  本研究では,長期エージェントLLMをコンテキスト圧縮で学習するための強化学習戦略であるCompactionRLを提案する。 我々はオープンモデル上でCompactionRLを訓練し、エージェントコーディングタスクにおける一貫したパフォーマンス向上を観察する。 GLM-4.7-Flash (30B-A3B) をベースとして、CompactionRLはPass@1を5.5と6.8ポイント改善し、SWEベンチ認証では56.4%、ターミナルベンチ2.0では20.2%に達した。
  論文  参考訳（メタデータ） (2026-07-06T17:55:12Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• Active Context Compression: Autonomous Memory Management in LLM Agents [0.4018831759077372]
  FocusはPhys polycephalum (slime moldarum)の生物学的探索戦略にインスパイアされたエージェント中心のアーキテクチャである 我々は、有能なモデルが適切なツールとプロンプトを与えられたとき、そのコンテキストを自律的に自己制御できることを実証する。
  論文  参考訳（メタデータ） (2026-01-12T04:31:00Z)
• GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [194.64264251080454]
  GLM-4.5はオープンソースのMixture-of-Experts(MoE)大言語モデルであり,総パラメータは355B,アクティベートパラメータは32Bである。 23Tトークンのマルチステージトレーニングと、エキスパートモデルのイテレーションと強化学習による総合的なポストトレーニングを通じて、GLM-4.5はエージェント、推論、コーディングタスクにわたって強力なパフォーマンスを実現している。 GLM-4.5(355Bパラメータ)とGLM-4.5-Air(106Bパラメータ)をそれぞれリリースし、推論とエージェントAIシステムの研究を進めた。
  論文  参考訳（メタデータ） (2025-08-08T17:21:06Z)
• TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
  テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。 ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。 テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-03-07T13:16:24Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。