論文の概要: SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents
- arxiv url: http://arxiv.org/abs/2608.18852v1
- Date: Wed, 19 Aug 2026 12:24:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.399164
- Title: SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents
- Title（参考訳）: SkillGate:ロングホライゾンエージェントにおけるイン・ポリティ・スキルの選択訓練
- Abstract要約: SkillGateはトークンサポートを2つの非結合なクレジットチャネルに分割し、結果クレジットは実行トークンにのみ到達し、アクションローカルのアドバンテージはスキルネームトークンに正確に到達する。
16候補のスレートに基づく5つのエージェントベンチマークにおいて、SkillGateは、結果報酬のみに費やされた同じ予算よりもはるかに早く、40.8%から53.2%の試験的な成功に9Bポリシーを引き上げている。
- 参考スコア（独自算出の注目度）: 45.511413545635286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent frameworks increasingly package procedural knowledge as skills: instruction files an agent reads on demand, while public libraries now hold thousands of them. Which skill to read has thus become a decision the policy itself makes in the middle of an episode, yet no existing signal trains it. We show that the default remedy, outcome-rewarded RL over the candidate slate, cannot teach it, for a structural reason we identify and name selector credit starvation: under a broadcast, sequence-level advantage, the few tokens that name the chosen skill carry a vanishing share of the loss, and the credit they inherit is increasingly wrong-signed as trajectories lengthen. A correct choice is punished whenever the execution after it fails, even though the choice itself is among the most valuable decisions in the trajectory. Auditing a completed run's own training artifacts confirms all three properties, each worsening monotonically with horizon. SkillGate removes the failure by construction: it partitions the token support into two disjoint credit channels, outcome credit reaching only execution tokens, and a separate action-local advantage reaching exactly the skill-naming tokens, positive only when a trajectory's single read is the correct one. On five agentic benchmarks under a 16-candidate slate, SkillGate lifts a 9B policy from 40.8% to 53.2% trial success, well ahead of the identical budget spent on outcome reward alone, while cutting exposure to misleading candidates by two thirds and reading fewer skills.
- Abstract（参考訳）: エージェントフレームワークはますます、手続き的な知識をスキルとしてパッケージ化している: エージェントが要求に応じて読み込む命令ファイル。
したがって、どのスキルを読むかは、ポリシー自体がエピソードの途中で決定するものであるが、既存の信号がそれを訓練することはない。
選択者の信用飢餓を識別し、命名する構造上の理由により、選択したスキルを名乗る数少ないトークンが損失の消滅分を担い、彼らが継承するクレジットはトラジェクトリ長文として誤署名される傾向にあることを示す。
正しい選択は、その選択自体が軌道上でもっとも価値のある決定であるにもかかわらず、実行が失敗するたびに罰せられる。
完了した実行時のトレーニングアーティファクトを監査すると、3つのプロパティがすべて確認される。
SkillGateは、トークンサポートを2つの分離されたクレジットチャネルに分割し、結果クレジットは実行トークンのみに到達し、別のアクションローカルアドバンテージは、軌道の1つの読み取りが正しい場合にのみ、正確にスキルネームトークンに到達する。
16候補を基準とした5つのエージェントベンチマークにおいて、SkillGateは9Bポリシーを40.8%から53.2%のトライアル成功に引き上げ、結果報酬のみに費やした同じ予算をはるかに上回り、誤解を招く候補への露出を3分の2減らし、スキルを減らした。
関連論文リスト
- SkillSeam: Six Principles for Auditing Agent Skill Collections [0.0]
SkillSeamは個々のスキルファイルがシステムになる関係を監査する。
それぞれのコレクションレベルの原則を、障害メカニズム、最強の可観測性、制御された摂動テストにマッピングする。
私たちは、他のスキルシステムが同じ障害チャンネルを計測できるように、バイト差のバリエーション、タスクスライス、ロールアップ、ワンスクリーンデザインチェックリストをリリースします。
論文 参考訳（メタデータ） (2026-09-10T19:59:07Z) - TTPO: Test-Time Policy Optimization [53.81524570216593]
テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。
TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
論文 参考訳（メタデータ） (2026-08-27T17:58:10Z) - The Chase Is the Curriculum, the Capture Anchors the Credit: Pursuit-Evasion Self-Play for Zero-Data LLM Reasoning [6.195031716121927]
LUREでは、LLMエバーダが各環境の難易度軸に沿ってタスクを配置し、検証可能な相互作用を通じてタスクを追尾する追尾者の一歩先にとどまる。
追従者は、共進化を安定に維持するラウンドアンコールKLの下で、単調検証器の進行が終端捕捉と共同でグループ正規化される捕捉アンコール密プロセスクレジットを得る。
論文 参考訳（メタデータ） (2026-08-22T09:30:29Z) - Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
論文 参考訳（メタデータ） (2026-08-18T09:52:48Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。
スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。
本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
論文 参考訳（メタデータ） (2026-08-05T17:57:16Z) - Agent Skills Matter: Inferring Proprietary Skills from Execution Trajectories [28.506562107355652]
本稿では,エージェント動作におけるスキルシグネチャの繰り返しを利用するフレームワークであるSigLeakを紹介する。
多様な、意思決定に富んだ診断タスクを構築し、スキル対応とスキル障害のトラジェクトリとを対比し、分離されたパターンから再構築されたスキルを反復的に洗練する。
平均的なスキル障害参照よりも成功率を6.88ポイント引き上げ、総合スキルシムを達成している。
論文 参考訳（メタデータ） (2026-07-28T10:40:59Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Skill or Skip? Learning Selective Skill Invocation in Agentic Tasks via Dual-Granularity Preference Learning [7.040842274056163]
SelSkillは、選択的なスキル実行のための二粒度選好学習フレームワークである。
Qwen3-8BのALFWorldでは、SelSkillはタスク成功率を10.9ポイント、実行精度を29.1ポイント改善している。
論文 参考訳（メタデータ） (2026-05-30T04:00:23Z) - Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks [83.4942519570046]
大型言語モデル(LLM)はゲームプレイエージェントとして有望な代替手段を提供するが、一貫した長期的意思決定に苦戦することが多い。
我々は、LLM決定エージェントが学習可能なスキルバンクからスキルを回収し、アクションテイクをガイドするコ進化フレームワークであるCOSPLAYを提案する。
当社のフレームワークは,スキル検索とアクション生成を学習するための意思決定エージェントを改良し,スキルバンクエージェントは,契約とともに継続的にスキルを抽出し,洗練し,更新する。
論文 参考訳（メタデータ） (2026-04-22T18:17:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。