論文の概要: CoDA: A Context-Decoupled Hierarchical Agent with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.12716v1
• Date: Sun, 14 Dec 2025 14:41:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.400514
• Title: CoDA: A Context-Decoupled Hierarchical Agent with Reinforcement Learning
• Title（参考訳）: CoDA: 強化学習を備えたコンテキスト分離階層型エージェント
• Authors: Xuanzhang Liu, Jianglun Feng, Zhuoran Zhuang, Junzhe Zhao, Maofei Que, Jieting Li, Dianlei Wang, Hao Tong, Ye Chen, Pan Li,
• Abstract要約: 我々は,低レベルの実行から高レベルの計画を切り離す強化学習フレームワークであるCoDAを紹介する。 CoDAは、複雑なマルチホップ質問応答ベンチマークにおける最先端のベースラインよりも、大幅なパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 12.710191300398924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) agents trained with reinforcement learning (RL) show great promise for solving complex, multi-step tasks. However, their performance is often crippled by "Context Explosion", where the accumulation of long text outputs overwhelms the model's context window and leads to reasoning failures. To address this, we introduce CoDA, a Context-Decoupled hierarchical Agent, a simple but effective reinforcement learning framework that decouples high-level planning from low-level execution. It employs a single, shared LLM backbone that learns to operate in two distinct, contextually isolated roles: a high-level Planner that decomposes tasks within a concise strategic context, and a low-level Executor that handles tool interactions in an ephemeral, isolated workspace. We train this unified agent end-to-end using PECO (Planner-Executor Co-Optimization), a reinforcement learning methodology that applies a trajectory-level reward to jointly optimize both roles, fostering seamless collaboration through context-dependent policy updates. Extensive experiments demonstrate that CoDA achieves significant performance improvements over state-of-the-art baselines on complex multi-hop question-answering benchmarks, and it exhibits strong robustness in long-context scenarios, maintaining stable performance while all other baselines suffer severe degradation, thus further validating the effectiveness of our hierarchical design in mitigating context overload.
• Abstract（参考訳）: 強化学習(RL)で訓練されたLarge Language Model(LLM)エージェントは、複雑で多ステップなタスクを解決するための大きな約束を示す。 しかしながら、長いテキスト出力の蓄積がモデルのコンテキストウインドウを圧倒し、推論失敗に繋がる"Context Explosion"によってそのパフォーマンスが損なわれることが少なくない。 これを解決するために、我々は、高レベルの計画と低レベルの実行を分離するシンプルで効果的な強化学習フレームワークである、コンテキスト分離階層型エージェントであるCoDAを紹介した。 ひとつは、簡潔な戦略的コンテキスト内でタスクを分解するハイレベルプランナー、もうひとつは、短命で独立したワークスペースでツールインタラクションを処理する低レベル実行器である。 我々は,PECO(Planner-Executor Co-Optimization)を用いて,この統合エージェントをエンドツーエンドにトレーニングする。 大規模な実験により、CoDAは複雑なマルチホップ質問応答ベンチマークの最先端ベースラインに対して大幅なパフォーマンス向上を実現し、長期コンテキストシナリオにおいて強い堅牢性を示し、他のすべてのベースラインが深刻な劣化に苦しんでいる間に安定したパフォーマンスを維持し、コンテキストオーバーロードを緩和する階層設計の有効性を検証した。

関連論文リスト

• Reason-Plan-ReAct: A Reasoner-Planner Supervising a ReAct Executor for Complex Enterprise Tasks [0.0]
  RP-ReActは,低レベルの実行から戦略的計画を切り離して信頼性と効率を向上する,新しいマルチエージェントアプローチである。 RP-ReActは、各サブステップを計画するReasoner Planner Agent(RPA)と、サブステップを具体的なツールインタラクションに変換する1つまたは複数のProxy-Execution Agent(PEA)から構成される。 RP-ReActを6つのオープンウェイト推論モデルの多種多様なセットを用いて、挑戦的なマルチドメインツールQAベンチマークで評価する。
  論文  参考訳（メタデータ） (2025-12-03T08:28:40Z)
• Scaling Long-Horizon LLM Agent via Context-Folding [46.685552398338295]
  エージェントが作業コンテキストを積極的に管理することを可能にするフレームワークであるContext-Foldingを紹介します。 エージェントは、サブトラックに手続き的に分岐してサブタスクを処理し、完了時に折り畳み、結果の簡潔な要約を保持しながら中間ステップを崩壊させる。
  論文  参考訳（メタデータ） (2025-10-13T22:00:58Z)
• Scalable In-Context Q-Learning [68.9917436397079]
  textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。 textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
  論文  参考訳（メタデータ） (2025-06-02T04:21:56Z)
• Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。 LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。 クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-26T07:02:17Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping [16.5526277899717]
  本研究の目的は,論理報酬形成を伴う多エージェント協調アルゴリズムを設計することである。 Minecraftのような環境下で様々な種類のタスクで実験が行われてきた。
  論文  参考訳（メタデータ） (2024-11-02T09:03:23Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism [17.993973801986677]
  多エージェント強化学習はしばしば、多数のエージェントによって引き起こされる指数関数的に大きな作用空間に悩まされる。 完全協調型マルチエージェント問題に対する階層的強化学習に基づく新しい値分解フレームワークHAVENを提案する。
  論文  参考訳（メタデータ） (2021-10-14T10:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。