論文の概要: SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection

• arxiv url: http://arxiv.org/abs/2610.18807v1
• Date: Tue, 13 Oct 2026 17:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:35:44.508977
• Title: SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection
• Title（参考訳）: SkillScaffold: 政策適応型スキルクレジットアサインメントと選択的インジェクションによるエージェント強化学習の共有
• Abstract要約: エージェント強化学習(RL)により、大規模言語モデルでは、検証可能な結果とのマルチターン相互作用から学習することができる。 SkillScaffoldは、低コストのスキルユーティリティ推定と選択的スキルインジェクションを組み合わせた、ポリシー適応型トレーニングスキャフォールドである。 ALFWorld、WebShop、ScienceWorld、および2ドルのBenchの実験は、強力なエージェントRLとスキルベースのRLベースラインよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 48.173384811583844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic reinforcement learning (RL) enables large language models (LLMs) to learn from multi-turn interactions with verifiable outcomes. Textual skills can improve exploration by distilling prior interactions into reusable guidance. However, existing skill-based RL approaches often either assume skill injection is beneficial or rely on indirect feedback or rollout-intensive evaluation to assess its utility. Our pilot studies show that rollout-based utility estimation for skill credit assignment is costly and unstable under limited sampling, while skill benefits vary across candidates and depend on the current policy's competence on each query. To address these challenges, we introduce SkillScaffold, a policy-adaptive training scaffold that combines low-cost skill-utility estimation with selective skill injection. By reusing outcome-verified training trajectories, SkillScaffold generates candidate skills and estimates their utility through outcome-aware likelihood comparisons, without candidate-specific environment rollouts. The resulting utility guides whether and which skill to inject, retaining skill-free execution when no candidate is estimated to help. Joint training enables the Generator to produce skills tailored to the evolving Executor. Scaffolded RL encourages skill internalization for skill-free inference. Experiments on ALFWorld, WebShop, ScienceWorld, and $τ^2$-Bench demonstrate gains over strong agentic-RL and skill-based RL baselines across both short- and long-horizon tasks. Ablations and further analyses support the importance of utility-based selection and abstention. Our code is available at https://github.com/Vaidurya00/SkillScaffold.
• Abstract（参考訳）: エージェント強化学習(RL)は,大規模言語モデル(LLM)を,検証可能な結果とのマルチターンインタラクションから学習することを可能にする。 テキストスキルは、事前の相互作用を再利用可能なガイダンスに蒸留することで、探索を改善することができる。 しかし、既存のスキルベースのRLアプローチは、しばしば、スキルインジェクションが有用であると仮定するか、間接的なフィードバックに頼るか、その有用性を評価するためにロールアウト集約評価に依存する。 パイロットスタディでは,限定サンプリングの下では,ロールアウトベースの実用性評価はコストが高く,不安定であり,スキルのメリットは候補によって異なり,クエリ毎に現在のポリシの能力に依存することが示された。 これらの課題に対処するため、我々は、低コストのスキルユーティリティ推定と選択的スキルインジェクションを組み合わせたポリシー適応型トレーニングスキャフォールドであるSkillScaffoldを紹介した。 SkillScaffoldは、結果検証されたトレーニングトラジェクトリを再利用することにより、候補スキルを生成し、候補固有の環境ロールアウトなしで、結果認識可能性比較を通じて有用性を見積もる。 得られたユーティリティーは、どのスキルを注入するかをガイドし、候補がいないと予測されたときに、スキルのない実行を維持する。 共同訓練により、ジェネレーターは進化するエクゼクターに合わせたスキルを生み出すことができる。 Scaffolded RLは、スキルフリー推論のためのスキル内部化を促進する。 ALFWorld、WebShop、ScienceWorld、および$τ^2$-Benchの実験は、短距離タスクと短距離タスクの両方において、強力なエージェントRLとスキルベースのRLベースラインよりも優れていることを示している。 アブレーションとさらなる分析は、ユーティリティベースの選択と棄権の重要性を支持している。 私たちのコードはhttps://github.com/Vaidurya00/SkillScaffold.comから入手可能です。

関連論文リスト

• SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents [17.565432600589414]
  大規模言語モデル(LLM)エージェントは、複雑な意思決定タスクのために強化学習(RL)を用いて訓練される。 SkillRLのような最近のスキルベースのアプローチは、生の軌跡からスキルを抽出することでこの問題に対処しようとしている。 SkillForgeは、環境相互作用を通じてスキルの検証と洗練を可能にする継続的スキル進化のためのフレームワークである。
  論文  参考訳（メタデータ） (2026-08-25T15:52:10Z)
• Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents [11.967142343676171]
  自己蒸留と強化学習を組み合わせたBCSD(Bi Context Self-Distillation)を提案する。 ALFWorldとWebShopの実験では、BCSDがモデルスケール全体で最高の全体的なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-08-10T12:53:06Z)
• SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
  スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。 実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。 トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T17:40:05Z)
• Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
  既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。 プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-07T17:55:55Z)
• SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
  本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
  論文  参考訳（メタデータ） (2026-05-27T03:21:19Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts [58.220879689376744]
  強化学習(Reinforcement Learning, RL)は, 優れた政策獲得のための強力なアプローチである。 多様なスキルを学習するための textbfDiverse textbfSkill textbfLearning (Di-SkilL) を提案する。 本稿では,Di-SkilLが多種多様なパフォーマンススキルを学習できるロボットシミュレーションタスクについて述べる。
  論文  参考訳（メタデータ） (2024-03-11T17:49:18Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。