論文の概要: Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution

• arxiv url: http://arxiv.org/abs/2610.12367v1
• Date: Thu, 08 Oct 2026 17:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.224368
• Title: Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution
• Title（参考訳）: SGUID:モデルスキル共進化のためのコンパクトなスキルバンクの選択
• Abstract要約: それまでの作業は、セマンティックな関連性によって銀行からスキルを回収し、推論時間パッチやモデルの蒸留に使われる。 まず,教員としてのスキル条件付き政策が有効であるオンライン蒸留において,抽出したスキルの25%以下が有効であることを示す。 本稿では,蒸留用スキルのコンパクトなサブセットを選択する方法であるSGUIDを提案する。
• 参考スコア（独自算出の注目度）: 26.920063625603806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Skills, reusable procedural guidance added at inference, can substantially improve LLM downstream performance (Li et al., 2026). Prior work retrieves skills from a bank by semantic relevance, then uses them as inference-time patches or for model distillation. The individual utility of each skill, however, is largely neglected. We first show that, in on-policy distillation where skill-conditioned policies serve as teachers, fewer than 25% of retrieved skills provide useful distillation signals. We then propose SGUID, a method for selecting a compact subset of skills for distillation. SGUID retains a skill only if it consistently yields effective learning signals during training. The selected skills are then distilled to produce a better model. Our results show that not all skills are worth distilling. Across four models from the Olmo and Qwen families, distilling 6 selected skills matches or exceeds full-bank distillation in mean avg@12 on three of the four models, and on all four after a second round that distills 3 newly selected skills, while the full banks are up to 11x larger. Importantly, SGUID supports stable model-skill co-evolution: after a distillation round, a new candidate bank is curated from the updated model's rollouts, and SGUID selects which skills to internalize next. In the second round, this loop selects 3 new skills and improves Qwen3-8B from 64.3% to 66.3%. The selection step is essential for stability: on Qwen3-4B, naively updating the model with unfiltered skills degrades performance, including a 0.3 percentage point drop on HMMT25, whereas SGUID improves HMMT25 by 0.5 points after the first round and 1.1 points after the second. These results identify skill selection as the key mechanism for stable model-skill co-evolution.
• Abstract（参考訳）: 推論時に再利用可能な手続きガイダンスであるスキルは、LLM下流性能を大幅に向上させることができる(Li et al , 2026)。 従来の作業では、セマンティックな関連性によって銀行からスキルを回収し、推論時間パッチやモデルの蒸留に使用する。 しかし、それぞれのスキルの個々の実用性はほとんど無視されている。 まず,教員としてのスキル条件付き政策が有効であるオンライン蒸留において,抽出したスキルの25%以下が有効であることを示す。 次に,蒸留用スキルのコンパクトなサブセットを選択する方法であるSGUIDを提案する。 SGUIDは、トレーニング中に効果的な学習信号が連続的に得られる場合に限り、スキルを保っている。 選択したスキルを蒸留し、より良いモデルを生成する。 私たちの結果は、すべてのスキルが蒸留に値するわけではないことを示している。 オルモ家とクウェン家の4つのモデルのうち6つの選択されたスキルが一致するか、または3つのモデルで平均avg@12でフルバンク蒸留を上回り、2回目のラウンドで新たに選択されたスキルを3つ蒸留し、フルバンクは最大11倍になる。 重要なことは、SGUIDは安定したモデルスキルの共進化をサポートする:蒸留ラウンドの後、更新されたモデルのロールアウトから新しい候補バンクがキュレートされ、SGUIDは次に内部化するスキルを選択する。 第2ラウンドでは、このループは3つの新しいスキルを選択し、Qwen3-8Bを64.3%から66.3%に改善する。 Qwen3-4Bでは、HMMT25の0.3パーセンテージの低下や第1ラウンド以降の0.5ポイント、第2ラウンド以降の1.1ポイントの改善など、未フィルタリングのスキルを持つモデルをナレーション的に更新することで、パフォーマンスが低下する。 これらの結果は、安定したモデルスキル共進化の鍵となるメカニズムとして、スキル選択を識別する。

関連論文リスト

• SkillCycle: Co-Evolving Agent Policies and Skill Banks [19.5212965105977]
  SkillCycleはエージェントポリシーとスキルバンクを共同開発するためのフレームワークです。 SkillCycleは、固定されたスキルバンクとルータによるポリシー学習と、凍結されたポリシーによるルールリビジョンの2つのフェーズを交互に行う。 WebShopでは、3BモデルのSkillCycleは74.74%の成功率と88.37のスコアを推論時のスキル入力なしで達成している。
  論文  参考訳（メタデータ） (2026-10-07T04:33:48Z)
• Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
  専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。 本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
  論文  参考訳（メタデータ） (2026-08-18T09:52:48Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
  ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。 スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。 本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
  論文  参考訳（メタデータ） (2026-08-05T17:57:16Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning [32.51284576274437]
  永続的なスキルライブラリにより、言語モデルエージェントはタスク間で成功した戦略を再利用できる。 既存の手法は、これらの機能を分離または別々の報酬源で最適化し、部分的かつ矛盾する進化をもたらす。 Skill1は,共有タスクアウトカム目標に向けて,スキル選択,利用,蒸留を共同開発するための単一の政策を訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-07T12:33:30Z)
• SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
  エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。 SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。 キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。 自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
  論文  参考訳（メタデータ） (2026-02-13T07:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。