論文の概要: D-Skill: Distilling Teacher Knowledge through Agent Skills

• arxiv url: http://arxiv.org/abs/2610.28914v1
• Date: Tue, 20 Oct 2026 20:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.14378
• Title: D-Skill: Distilling Teacher Knowledge through Agent Skills
• Title（参考訳）: Dスキル: エージェントスキルによる教師の知識の希薄化
• Abstract要約: Dスキル(D-Skill)は、教師をブラックボックスとして扱い、その行動上の優位性を解釈可能な自然言語スキルに蒸留するフレームワークである。 以上の結果から, 自然言語によるスキル蒸留は, 重量ベース能力伝達に代わる性能, 解釈可能, 効率のよい代替手段となることが示唆された。
• 参考スコア（独自算出の注目度）: 36.488689655343634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier language-model agents excel at complex tasks, but high inference costs make transferring their capabilities to smaller models essential. Traditional knowledge distillation achieves this through parameter updates, requiring access to the student's weights and additional training compute while encoding the transferred knowledge implicitly in the parameters. We introduce D-Skill, a framework that treats the teacher as a black box and distills its behavioral advantage into an interpretable natural-language skill by analyzing paired rollouts and identifying behavioral divergences and agreements. The resulting lessons are consolidated offline, with any compatible skill-update backend, into a skill document that is provided to the student at inference time. D-Skill constructs the skill entirely offline from fixed trajectories, without labels, further environment interaction, or weight updates after rollout collection. Across SpreadsheetBench-Verified, ALFWorld, and chess puzzles spanning multiple teacher-student pairs, D-Skill closes 75%-95% of the teacher-student gap without touching model weights. After a single offline pass over the paired traces, D-Skill outperforms one-epoch SFT baselines and remains competitive with multi-epoch SFT. Under the same model family, the resulting student also incurs 5.7x-8.3x lower inference cost per task than the teacher. Our results demonstrate that natural-language skill distillation offers a performant, interpretable, and efficient alternative to weight-based capability transfer.
• Abstract（参考訳）: 最前線の言語モデルエージェントは複雑なタスクで優れているが、推論コストが高いため、より小さなモデルにその能力を移行することが不可欠である。 伝統的な知識蒸留は、パラメータの更新を通じてこれを達成し、学生の重みにアクセスし、パラメータに暗黙的に伝達された知識を符号化しながら、追加の訓練計算を必要とする。 D-Skillは,教師をブラックボックスとして扱い,その行動上の優位性を解釈可能な自然言語スキルに融合させ,対のロールアウトを分析し,行動の相違や合意を識別するフレームワークである。 得られたレッスンは、互換性のあるスキルアップデートバックエンドを備えたオフラインで、推論時に学生に提供するスキルドキュメントに集約される。 D-Skillは、ラベル、さらなる環境相互作用、ロールアウトコレクション後の重み更新なしで、固定軌跡から完全にオフラインでスキルを構築する。 SpreadsheetBench-Verified、ALFWorld、および複数の教師と学生のペアにまたがるチェスパズル全体で、Dスキルはモデルウェイトに触れることなく教師と学生のギャップの75%-95%を閉じる。 D-Skillは1対のトレースを1対のオフラインパスした後、SFTベースラインよりも優れ、マルチエポックSFTと競合する。 同じモデルファミリーの下では、学生は教師よりも5.7x-8.3倍低い推論コストを得る。 以上の結果から, 自然言語によるスキル蒸留は, 重量ベース能力伝達に代わる性能, 解釈可能, 効率のよい代替手段となることが示唆された。

関連論文リスト

• SKILL-KD: Contrastive Skill Distillation for LLM Agents [17.24178659841658]
  スキルベースのプロンプトは、大規模言語モデル(LLM)エージェントを改善するための実践的なメカニズムとなっている。 既存のスキル獲得手法は、しばしば経験の要約、記憶のエントリ、あるいは成功例の直接的な要約として、スキルを扱います。 SKILL-KDは, 異なる能力を有するエージェント間での明示的な蒸留媒体として, スキルを扱える技術蒸留フレームワークである。
  論文  参考訳（メタデータ） (2026-07-30T11:27:37Z)
• Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents [24.99615788156812]
  Skill-SDはエージェント自身の軌道を動的トレーニングのみの監視に変換するフレームワークである。 我々は, 重み付き逆KL損失を導出し, 勾配補正型トークンレベルの蒸留を行った。 エージェントベンチマークの実験結果は、Skill-SDが標準RLベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-12T14:57:52Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Talking Models: Distill Pre-trained Knowledge to Downstream Models via Interactive Communication [25.653517213641575]
  我々は、下流の課題の学生が事前学習された基礎モデルから効果的に学習するのに役立つ対話型コミュニケーションプロセスを開発する。 私たちのデザインは、学生のニーズを満たす方法で知識を説明することができる教師から、人間が学ぶ方法にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2023-10-04T22:22:21Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。