論文の概要: SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment

• arxiv url: http://arxiv.org/abs/2605.27899v1
• Date: Wed, 27 May 2026 03:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.712691
• Title: SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment
• Title（参考訳）: SKILLC: コントラストクレジットアサインメントによるLLMエージェントの自律的スキル内部化学習
• Authors: Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang,
• Abstract要約: 本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
• 参考スコア（独自算出の注目度）: 4.336665585098371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured skill prompts improve exploration in long-horizon agentic reinforcement learning (RL). Skill-augmented RL methods retain external skills at inference, while skill-internalization RL methods withdraw them during training to enable autonomous performance. However, existing internalization approaches only use skill-helpfulness contrast for curriculum control, leaving the policy update unchanged and unable to distinguish skill-dependent from autonomous success. We propose SkillC, a framework based on Contrastive Skill Credit Assignment (CSCA) that converts this contrast into a direct learning signal for internalization. \textsc{SkillC} samples paired skill-injected and skill-free rollouts for tasks from active skill types within the same policy update, and injects their task-level contrast into optimization via a dual-stream advantage estimator that preserves global ranking while applying a one-sided correction toward skill-free success. A smoothed validation-level signal further drives an adaptive curriculum over attribution strength, rollout allocation, and monotonic active-set pruning. Experiments on ALFWorld and WebShop show that, without runtime skill access, SkillC surpasses the strongest prior skill-internalization RL baseline by 5.5\% and 4.4\%, respectively, while remaining competitive with skill-augmented RL methods.
• Abstract（参考訳）: 構造的スキルは、長距離エージェント強化学習(RL)における探索を促進させる。 スキル強化RL法は推論時の外部スキルを維持し、スキル内部化RL法はトレーニング中にそれらを取り除き、自律的なパフォーマンスを実現する。 しかし、既存の内部化アプローチでは、カリキュラム管理にスキルヘッフルネスコントラストしか使用せず、ポリシーの更新は変更されず、自律的な成功とスキル依存を区別することができない。 本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 \textsc{SkillC}は、同じポリシー更新内でアクティブなスキルタイプからタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングし、タスクレベルのコントラストを最適化に注入する。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。 ALFWorldとWebShopの実験によると、SkillCは実行時のスキルアクセスなしでは、スキル強化されたRLメソッドとの競争を保ちながら、それぞれ5.5\%と4.4\%という最強のスキルインターナライゼーションRLベースラインを上回っている。

関連論文リスト

• Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning [25.966432263031397]
  Skill0.5は、一般的なスキル内部化とタスク固有のスキル利用を組み合わせることで、スキル処理を明確に区別する新しいエージェントRLフレームワークである。 特典蒸留によって一般的なスキルを内包し、ハードタスクの認知基盤を構築すると同時に、ショートカットをペナルティ化し、特定のスキル利用を強制するための簡単なタスクを診断する。 ALFWorldとWebShopの実験では、Skill0.5はメモリベースのRLベースラインとスキルベースのRLベースラインの両方を上回っている。
  論文  参考訳（メタデータ） (2026-05-27T12:54:33Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning [11.76119198695392]
  大規模な言語モデルエージェントは、複雑なタスクを解決するために、ますます外部スキルに依存している。 既存の手法では、外部スキルは永続的なガイダンスとして蓄積するか、ポリシーに内部化され、ゼロスキル推論につながると仮定している。 パラメトリック能力の制限とスキル間の不均一な限界貢献により、最適なアクティブスキルセットは非モノトニック、タスク、ステージ依存である。
  論文  参考訳（メタデータ） (2026-05-11T17:55:13Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
  本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。 SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。 SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:31:50Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning [6.959686714606018]
  SISL(Self-Improving Skill Learning)は、ハイレベルなスキル改善ポリシーを分離して自己指導型スキル改善を行う。 SISLは様々なロングホライゾンタスクにおいて、他のスキルベースのメタRLメソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-02-06T03:28:45Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。