SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents
Abstractの概要
本論文では、エピソード中に候補群からどのスキルファイルを読み込むかを選択する必要がある長期エージェントにおける、方策内のスキル選択を研究しています。著者らは、標準的な結果のみに基づく方策勾配では、選択されたスキルを指定するわずかなトークンにほとんどクレジットが割り当てられず、その後の実行が失敗した際に誤った符号を引き継ぐことが多いという「セレクター・クレジット飢餓」と呼ばれる現象が生じ、この選択の学習に失敗すると主張しています。これに対処するため、SkillGateは学習クレジットを2つの互いに素なチャネルに分割し、系列レベルの結果クレジットを実行トークンにのみ適用し、アクション局所的なセレクター・アドバンテージをスキル指定トークンにのみ適用します。本手法は、16個の候補群を用いた5つのエージェントベンチマークにおいて、結果のみに基づくRL、教師あり選択、外部ルーティングのベースラインとの統制された比較とともに評価されています。
新規性
本論文の主な新規性は、エピソード途中のスキル選択を軌道レベルの報酬全体に委ねるのではなく、単一の方策勾配更新内における個別の学習可能な決定として扱う点にあります。また、監査された学習軌道からセレクター・クレジット飢餓の実証的な診断を行うとともに、選択クレジットを長さに対して不変かつ実行クレジットから分離させるトークンレベルのマスキングおよび再重み付けスキームを提案しています。
成果
5つのベンチマークにわたる混合候補群の評価において、SkillGateは全体で53.2%の試行成功率を達成し、適合する結果のみのRLベースライン（47.0%）や共通のSFT初期化（40.8%）を上回りました。また、オラクルスキルの読み込みを増加させ、誤解を招くスキルへの接触を約3分の2削減しつつ、全体として読み込むスキル数も減少させました。
論文の注目点
- 結果のみに基づく強化学習が長期軌道におけるスキル選択の学習に苦戦する構造的な要因として、「セレクター・クレジット飢餓」を特定した点。
- SkillGateは明示的なマスキングと正規化を用いて、結果クレジットを実行トークンにのみ、セレクター・クレジットをスキル識別トークンにのみ割り当て、2つのチャネルを互いに素に保つ点。
- 実証的に、SkillGateは16候補の条件下における5つのエージェントベンチマークで9Bスケールとして最高の結果を達成し、統制されたベースラインと比較してタスク成功率とスキル選択の挙動を改善した点。
参考リンク
- arXiv: https://arxiv.org/abs/2608.18852v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2608.18852v1
- Hugging Face Papers: https://huggingface.co/papers/2608.18852
- GitHub: https://github.com/DeepExperience/SkillGate
- Hugging Face: https://huggingface.co/simonlqy/SkillGate-9B