論文の概要: Doing More with Less Tokens: Hierarchical Reinforcement Learning for Efficient Coding Agents

• arxiv url: http://arxiv.org/abs/2609.38885v1
• Date: Wed, 30 Sep 2026 03:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.140652
• Title: Doing More with Less Tokens: Hierarchical Reinforcement Learning for Efficient Coding Agents
• Title（参考訳）: 少ないトークンでより多くのことを行う:効率的な符号化エージェントのための階層的強化学習
• Abstract要約: コーディングエージェントは、現実世界のソフトウェアエンジニアリング(SWE)シナリオの主要なパラダイムとして現れました。 近年,タスク関連情報を破棄するリスクを克服しつつ,トークン効率の向上について検討している。 本稿では,分解率とトークン効率のトレードオフをバランスさせるため,HEROと呼ばれる新しい強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.61766735649724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, coding agents have emerged as a dominant paradigm for real-world software engineering (SWE) scenarios, which solve complex tasks through multi-turn interactions with development environments. However, frequent interactions with environments would inevitably introduce substantial token overhead, leading to high usage costs and latency. Although recent studies have explored reducing token usage by context manipulation and interaction limits at inference time, these approaches focus on improving token efficiency while overlooking the risk of discarding task-relevant information, thus struggling to balance the trade-off between resolution rate and token efficiency. In this paper, we study a more general paradigm without suffering from the limitation, i.e., training token-efficient coding agents with promising resolution performance, which is a highly-practical yet less-explored problem. To this end, we reveal two core observations in SWE scenarios: i) Efficiency Variation: successful resolution could be achieved with fewer tokens; ii) Entropy Correlation: unproductive behaviors are associated with turn-level entropy. Motivated by observations, we propose a novel reinforcement learning framework, dubbed HERO. Specifically, HERO prioritizes task resolution over token efficiency during policy optimization and encourages efficient reasoning patterns at both trajectory and turn levels. Extensive experiments on SWE-bench Verified and SWE-bench Multilingual demonstrate that HERO achieves a favorable trade-off between resolution rate and token efficiency compared with state-of-the-art coding agents and reinforcement learning methods.
• Abstract（参考訳）: 近年,コーディングエージェントは,開発環境とのマルチターンインタラクションによって複雑なタスクを解く実世界のソフトウェア工学(SWE)シナリオにおいて,支配的なパラダイムとして出現している。 しかし、環境との頻繁なインタラクションは、必然的に相当なトークンオーバーヘッドをもたらし、高い使用コストとレイテンシをもたらす。 近年の研究では、コンテキスト操作によるトークン使用量の削減と、推論時のインタラクション制限について検討されているが、これらの手法は、タスク関連情報を破棄するリスクを克服しつつ、トークン効率の改善に重点を置いているため、解決率とトークン効率のトレードオフのバランスに苦慮している。 本稿では,トークン効率のよい符号化エージェントの学習に限界を伴わない,より一般的なパラダイムについて検討する。 この目的のために、SWEシナリオにおける2つの中核的な観測を明らかにした。 一 効率の変動 少ないトークンで解決を成功させることができること。 二 エントロピー相関:非生産的行動はターンレベルのエントロピーと関連している。 そこで我々は,HEROと呼ばれる新しい強化学習フレームワークを提案する。 具体的には、HEROは、ポリシー最適化中にトークン効率よりもタスク解決を優先し、軌道と旋回の両方で効率的な推論パターンを奨励する。 SWE-bench VerifiedとSWE-bench Multilingualの大規模な実験により、HEROは最先端の符号化エージェントや強化学習手法と比較して、分解率とトークン効率のトレードオフを良好に達成していることが示された。

関連論文リスト

• ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning [53.17987412112712]
  強化学習(Reinforcement Learning, RL)は、複雑な操作タスクにおけるビジョン・ランゲージ・アクション(VLA)モデルを改善する重要な可能性を示している。 本稿では,現在のVLA-RLフレームワークにおける探索の停滞ボトルネックについて検討する。 本稿では,VLA ポリシーを個別の行動事前に規定する簡易かつ汎用的なフレームワークである RL Exploration Token (ExToken) を紹介する。
  論文  参考訳（メタデータ） (2026-07-14T16:04:41Z)
• Latent Action Reparameterization for Efficient Agent Inference [56.42014061367112]
  本稿では,複数のステップのセマンティックな振る舞いに対応する,コンパクトな潜在行動空間を学習するフレームワークを提案する。 手作りのマクロや階層型コントローラとは異なり、潜在動作はエージェントの軌跡から学習され、モデルに直接統合される。
  論文  参考訳（メタデータ） (2026-05-18T16:07:44Z)
• Efficient Reinforcement Learning with Semantic and Token Entropy for LLM Reasoning [30.889495810312624]
  本稿では,意味レベルとトークンレベルの両方でエントロピー信号を活用して推論を改善する,効率的な強化学習フレームワークを提案する。 データ構造とアルゴリズム設計を協調的に最適化することにより,エントロピー崩壊を効果的に軽減し,推論を強化する。
  論文  参考訳（メタデータ） (2025-12-04T01:09:17Z)
• ARES: Multimodal Adaptive Reasoning via Difficulty-Aware Token-Level Entropy Shaping [54.37497695483689]
  本稿では,タスクの難易度に基づいて探索作業を動的に割り当てる適応推論のための統合フレームワークであるARESを提案する。 単一トークンエントロピーはノイズが多いが,高いウィンドウエントロピー(HWE)トークンは推論クリティカルな瞬間を確実に捉えることができる。 In the Adaptive Cold-Start stage, we curate multimodal and textual data paired with reasoning traces of length proportional to problem difficulty。 第2段階では,HWEトークンを探索トリガとする適応エントロピーポリシー最適化(AEPO)を開発する。
  論文  参考訳（メタデータ） (2025-10-09T17:03:28Z)
• Decomposing the Entropy-Performance Exchange: The Missing Keys to Unlocking Effective Reinforcement Learning [106.68304931854038]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の推論能力を高めるために広く用いられている。 我々は,RLVRのエントロピー・パフォーマンス交換機構を,異なるレベルの粒度で系統的に解析する。 分析の結果, 上昇段階において, 負のサンプルのエントロピー減少は効果的な推論パターンの学習を促進することが明らかとなった。 プラトー段階では、学習効率は、低エントロピーのサンプルに存在する高エントロピートークンと、シーケンスの終端に位置するトークンと強く相関する。
  論文  参考訳（メタデータ） (2025-08-04T10:08:10Z)
• Efficient Inference for Large Reasoning Models: A Survey [74.17203483365171]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)
• Underlying Semantic Diffusion for Effective and Efficient In-Context Learning [113.4003355229632]
  Underlying Semantic Diffusion (US-Diffusion)は、セマンティック学習、計算効率、文脈内学習能力を高める拡張拡散モデルである。 本稿では,フィードバック信号を利用したフィードバック支援学習(FAL)フレームワークを提案する。 また,高雑音レベルの時間ステップで高密度サンプリングを行うためのプラグイン・アンド・プレイの効率的なサンプリング戦略(ESS)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T03:06:22Z)
• Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy [23.100602876056165]
  時間的重複とクラスオーバーラップという2つの課題に対処するには複雑すぎると我々は主張する。 本稿では, 密接な曖昧な部分概念を検出するために, 密接なあいまいな動作を検出するタスクを分解することを提案する。 我々の実験は、最先端手法に対するアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2025-01-30T17:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。