論文の概要: CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents
- arxiv url: http://arxiv.org/abs/2607.05378v1
- Date: Mon, 06 Jul 2026 17:55:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.272177
- Title: CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents
- Title（参考訳）: CompactionRL:長軸エージェントのコンテキスト圧縮による強化学習
- Abstract要約: 本研究では,長期エージェントLLMをコンテキスト圧縮で学習するための強化学習戦略であるCompactionRLを提案する。
我々はオープンモデル上でCompactionRLを訓練し、エージェントコーディングタスクにおける一貫したパフォーマンス向上を観察する。
GLM-4.7-Flash (30B-A3B) をベースとして、CompactionRLはPass@1を5.5と6.8ポイント改善し、SWEベンチ認証では56.4%、ターミナルベンチ2.0では20.2%に達した。
- 参考スコア（独自算出の注目度）: 46.180980184707416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon agentic LLMs are increasingly limited by finite context windows, as extended interaction trajectories can exceed the maximum context length before a task is completed. Context compaction offers a natural solution by summarizing previous interaction states and continuing the rollout under a compressed context, but incorporating compaction into reinforcement learning remains underexplored. We propose CompactionRL, a reinforcement learning strategy to train long-horizon agentic LLMs with context compaction. Our approach jointly optimizes task execution and summary generation with token-level loss normalization and cross-trajectory generalized advantage estimation. This design enables the LLM agents to learn from compacted long-horizon trajectories. We train CompactionRL on top of open models and observe consistent performance gains on agentic coding tasks. CompactionRL enables the open GLM-4.5-Air model (106B-A30B) to achieve Pass@1 scores of 66.8% on SWE-bench Verified and 24.5% on Terminal-Bench 2.0, with absolute gains of 7.0 and 3.1 points, respectively. Built upon GLM-4.7-Flash (30B-A3B), CompactionRL improves Pass@1 by 5.5 and 6.8 points, reaching 56.0% on SWE-bench Verified and 20.2% on Terminal-Bench 2.0, respectively. CompactionRL is thus deployed in the RL pipeline for training the open GLM-5.2 model (750B-A40B).
- Abstract（参考訳）: 長い水平エージェント LLM は、タスクが完了する前に、拡張された相互作用軌跡が最大コンテキスト長を超えるため、有限コンテキストウィンドウによってますます制限される。
コンテキストコンパクト化は、以前の相互作用状態を要約し、圧縮されたコンテキストの下でロールアウトを続けることで自然な解を提供するが、強化学習にコンパクト化を組み込むことは未定である。
本研究では,長期エージェントLLMをコンテキスト圧縮で学習するための強化学習戦略であるCompactionRLを提案する。
提案手法は,トークンレベルの損失正規化とクロストラジェクトリの一般化した利点推定を併用して,タスク実行とサマリ生成を共同で最適化する。
この設計により、LLMエージェントはコンパクトな長距離軌道から学習することができる。
我々はオープンモデル上でCompactionRLを訓練し、エージェントコーディングタスクにおける一貫したパフォーマンス向上を観察する。
CompactionRLはオープンなGLM-4.5-Airモデル(106B-A30B)により、SWE-bench Verifiedで66.8%、 Terminal-Bench 2.0で24.5%、絶対ゲインで7.0と3.1ポイントを達成することができる。
GLM-4.7-Flash (30B-A3B)をベースとして、CompactionRLはPass@1を5.5倍、6.8ポイント改善し、SWEベンチ検証では56.0%、ターミナルベンチ2.0では20.2%に達した。
CompactionRLは、オープンなGLM-5.2モデル(750B-A40B)をトレーニングするためにRLパイプラインに配備される。
関連論文リスト
- LAPF: LLM-Agent-Based Path Finder Using the UAVScenes Dataset [8.27333944529512]
本稿では,都市規模屋外環境における自律型UAVナビゲーションのためのLLM-Agent-Based Path Finder (LAPF) フレームワークを提案する。
LAPFは認識、記憶、計画、行動モジュールをクローズドループ認知アーキテクチャに統合することでLLM支援ナビゲーションを拡張している。
LAPFは512.83mと506.37mの平均経路長を、497.33mの直線最適化と比較する。
論文 参考訳（メタデータ） (2026-08-15T11:28:21Z) - Mach-Mind-4-Flash Technical Report [0.0]
Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。
トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-10T12:57:08Z) - Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training? [23.212983812736343]
Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。
固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
論文 参考訳（メタデータ） (2026-04-12T09:35:27Z) - Language-based Trial and Error Falls Behind in the Era of Experience [50.503828360874536]
大きな言語モデル(LLM)は、言語ベースのエージェントタスクでは優れているが、見つからない非言語環境への適用性は依然として限られている。
本研究では,探索の禁止コストが主なボトルネックであることを示す。
セマンティック・エクスプロイトから探索を分離する新しいフレームワークであるSCOUTを提案する。
論文 参考訳（メタデータ） (2026-01-29T14:08:41Z) - QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。
QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。
実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
論文 参考訳（メタデータ） (2025-10-13T17:55:09Z) - GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [194.64264251080454]
GLM-4.5はオープンソースのMixture-of-Experts(MoE)大言語モデルであり,総パラメータは355B,アクティベートパラメータは32Bである。
23Tトークンのマルチステージトレーニングと、エキスパートモデルのイテレーションと強化学習による総合的なポストトレーニングを通じて、GLM-4.5はエージェント、推論、コーディングタスクにわたって強力なパフォーマンスを実現している。
GLM-4.5(355Bパラメータ)とGLM-4.5-Air(106Bパラメータ)をそれぞれリリースし、推論とエージェントAIシステムの研究を進めた。
論文 参考訳（メタデータ） (2025-08-08T17:21:06Z) - RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [111.1749164063616]
大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。
RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。
提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
論文 参考訳（メタデータ） (2025-07-31T23:55:29Z) - L0: Reinforcement Learning to Become General Agents [9.210885263681119]
汎用エージェントのためのスケーラブルでエンドツーエンドのトレーニングパイプラインであるL-Zero(L0)を紹介する。
L0 内のエージェント足場である NB-Agent は Read-Eval-Print-Loop (REPL) を介して "code-as-action" 方式で動作している。
RLVR(Reinforcement Learning with Verifiable Rewards)のみを用いて,ベースモデルによる堅牢な問題解決技術の開発が実証された。
論文 参考訳（メタデータ） (2025-06-30T09:44:32Z) - Controlling Large Language Model with Latent Actions [27.0292050543406]
強化学習(Reinforcement Learning)を用いた下流タスクへの大規模言語モデルの適用は、効果的なアプローチであることが証明されている。
本稿では,LLMの制御性と探索性を高めるために,コンパクトな潜在動作空間を学習する。
我々は,遅延アクション空間を事前学習したLLMに統合するフレームワークである潜在アクションを用いた大規模言語モデル制御(CoLA)を提案する。
論文 参考訳（メタデータ） (2025-03-27T11:25:22Z) - LLMStinger: Jailbreaking LLMs using RL fine-tuned LLMs [13.36946005380889]
LLMStingerはLarge Language Models(LLMs)を利用して、jailbreak攻撃の逆サフィックスを自動的に生成する新しいアプローチである。
LLaMA2-7B-chatでの攻撃成功率(ASR)は57.2%向上し,Claude 2では+50.3%向上した。
論文 参考訳（メタデータ） (2024-11-13T18:44:30Z) - Why Does the Effective Context Length of LLMs Fall Short? [68.34573617977013]
本稿では,SifTed Rotray 位置埋め込み (STRING) について紹介する。
ストリングは、トレーニング中の元の非効率な位置を上書きするために、よく訓練された位置をシフトし、既存のトレーニング期間内でのパフォーマンスを向上させる。
実験結果から, STRINGは最新の大規模モデルの性能を劇的に向上させることがわかった。
論文 参考訳（メタデータ） (2024-10-24T13:51:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。