論文の概要: CodeSkill: Latent Skill Abstraction for Long-Horizon Code Agents

• arxiv url: http://arxiv.org/abs/2609.33243v1
• Date: Sun, 27 Sep 2026 05:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:53:30.611985
• Title: CodeSkill: Latent Skill Abstraction for Long-Horizon Code Agents
• Title（参考訳）: CodeSkill: 長距離コードエージェントのための潜在スキル抽象化
• Abstract要約: コードエージェントは、複雑な相互作用軌跡に対する長い水平決定を必要とする。 既存の強化学習アプローチは一般的にトークンレベルでの振る舞いを最適化する。 我々は,階層的な潜在スキルモデリングをコードエージェントドメインに適用するフレームワークであるCodeSkillを提案する。
• 参考スコア（独自算出の注目度）: 16.786521269265553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code agents require long-horizon decision-making over complex interaction trajectories. However, existing reinforcement learning (RL) approaches typically optimize behavior at the token level, creating a mismatch between low-level generation and high-level behavioral reasoning. This limitation leads to inefficient exploration and weak credit assignment under sparse rewards. Moreover, while large-scale agent trajectories often contain recurring multi-step behavioral patterns, their noisy token-level representations hinder effective experience reuse. To address these challenges, we propose CodeSkill, a framework that adapts hierarchical latent skill modeling to the code agent domain. CodeSkill first leverages a teacher model to distill both successful and failed trajectories into multi-level textual abstractions. It then integrates temporal variational inference with reinforcement learning to map these discrete semantics into continuous latent variables, while an adaptive boundary mechanism dynamically gates skill transitions based on execution feedback. The learned skills are injected into a frozen LLM policy as latent semantic prefixes, enabling optimization in a compact semantic space rather than over raw token sequences. By shifting RL from token-level exploration to experience-level reasoning, CodeSkill improves optimization efficiency and long-horizon behavioral coherence. Extensive experiments demonstrate that CodeSkill achieves highly competitive performance against strong open-weight baselines across diverse general and industrial coding benchmarks. Furthermore, the learned skills exhibit strong transferability and robust cross-domain generalization, highlighting the effectiveness of explicit behavioral abstraction for scalable agentic code generation.
• Abstract（参考訳）: コードエージェントは、複雑な相互作用軌跡に対する長い水平決定を必要とする。 しかし、既存の強化学習(RL)アプローチは一般的にトークンレベルでの振る舞いを最適化し、低レベルの生成と高レベルの振る舞い推論のミスマッチを生成する。 この制限は、スパース報酬の下で非効率な探索と弱い信用割り当てにつながる。 さらに,大規模エージェントトラジェクトリは繰り返し発生する多段階の動作パターンを含むことが多いが,ノイズの多いトークンレベルの表現は効果的な経験の再利用を妨げる。 これらの課題に対処するため、コードエージェントドメインに階層的な潜在スキルモデリングを適用するフレームワークであるCodeSkillを提案する。 CodeSkillはまず教師モデルを利用して、成功したトラジェクトリと失敗したトラジェクトリの両方をマルチレベルのテキスト抽象化に抽出する。 次に、時間変動推論と強化学習を統合して、これらの個別の意味を連続的な潜伏変数にマッピングし、適応的境界機構は実行フィードバックに基づいてスキル遷移を動的にゲートする。 学習したスキルは、遅延セマンティックプレフィックスとして凍結LLMポリシーに注入され、生トークンシーケンスよりもコンパクトなセマンティック空間での最適化を可能にする。 RLをトークンレベルの探索からエクスペリエンスレベルの推論に移行することで、CodeSkillは最適化効率と長時間の振る舞いコヒーレンスを改善します。 広範な実験により、CodeSkillは様々な一般および工業的なコーディングベンチマークにおいて、強力なオープンウェイトベースラインに対して高い競争力を発揮することが示された。 さらに、学習スキルは、強力な転送可能性と堅牢なクロスドメイン一般化を示し、スケーラブルなエージェントコード生成のための明示的な振る舞い抽象化の有効性を強調している。

関連論文リスト

• Dual-Process Atomic Skill Learning: Decoupling Semantic Reasoning and Real-Time Control [21.97625864571452]
  言語条件のImitation Learning(IL)は、ロボットが自然言語の指示に従って複雑なタスクを実行できるために不可欠である。 動作制御からスローセマンティック推論を分離する新しい階層型模倣学習フレームワークであるDual-Process Atomic Skill Learning (DASL)を提案する。 DASLは最先端のベースラインを著しく上回り、スキル獲得と作曲の一般化に優れ、目に見えない命令に優れる。
  論文  参考訳（メタデータ） (2026-07-12T07:38:53Z)
• SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
  生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。 本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。 ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-09T03:17:17Z)
• Divide and Conquer: Grounding LLMs as Efficient Decision-Making Agents via Offline Hierarchical Reinforcement Learning [32.260964481673085]
  大規模言語モデル(LLM)は、不十分な探索と長期クレジット割り当てのために、長期的な意思決定タスクに苦しむ。 本稿では, LLMポリシーにパラメータ効率が高く, 一般に適用可能な階層構造を導入する, 革新的なフレームワークを提案する。 我々は,低レベル制御器を抽象的なステップバイステップ計画で制御し,高レベル制御器で学習・指導する手法を開発した。
  論文  参考訳（メタデータ） (2025-05-26T09:43:40Z)
• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Multi-granularity Knowledge Transfer for Continual Reinforcement Learning [10.89257691485739]
  連続強化学習(CRL)は、RLエージェントに一連のタスクを学習する能力を与える。 既存の手法は、しばしば類似のタスク間できめ細かい知識の伝達に重点を置いている。 本稿では,大きめの知識伝達を促進するためのMT-Coreという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。