論文の概要: When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2609.34489v1
• Date: Mon, 28 Sep 2026 07:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:03:28.811701
• Title: When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation
• Title（参考訳）: 教師の能力と知識蒸留のためのデータ選択を再考する
• Abstract要約: 教師の指導をリレーショナルオーダに分解して分析する。 低データ体制における小学生のアドバンテージは、スコア幾何学だけでなく、リレーショナル順序付けからも生じることを示す。 予算対応難易度フィルタリングのプロキシとして小人数の教師を用いるDVAを提案する。
• 参考スコア（独自算出の注目度）: 8.893272453177081
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data pruning reduces the training cost of knowledge distillation (KD). However, the preferred teacher capacity changes with the data budget: smaller teachers can outperform larger ones when limited training data are available. Understanding what drives this shift is important not only for teacher choice but also for identifying which samples are useful for distillation. We analyze teacher supervision by decomposing it into relational ordering---the ranking of classes---and score geometry---the magnitudes and margins of class probabilities---and show that the small-teacher advantage in the low-data regime arises not only from score geometry but also from relational ordering. Beyond understanding teacher capacity, our analysis reveals two properties of effective subsets: samples should match the difficulty appropriate for the available budget, and their relational signals should be diverse rather than redundant. Based on these findings, we propose DVA (Difficulty- and Volume-Aware data selection for KD), a training-dynamics-free method, which uses a small teacher as a proxy for budget-aware difficulty filtering and class-conditional relational volume maximization. Despite requiring no training dynamics statistics, our method remains competitive with training-dynamics-based methods while consistently outperforming training-dynamics-free baselines.
• Abstract（参考訳）: データプルーニングは知識蒸留(KD)のトレーニングコストを削減します。 しかし、データ予算によって教師の能力は変化し、より小さな教師は限られた訓練データが得られる場合、より大きな教師よりも優れる。 このシフトを駆動するものを理解することは、教師の選択だけでなく、どのサンプルが蒸留に有用かを特定するためにも重要である。 教師の指導をリレーショナル・オーダリング(リレーショナル・オーダリング)に分解して分析する。----------------- クラス確率の大きさとマージン--------- と、低データ体制における小学生のアドバンテージは、スコア・ジオメトリだけでなくリレーショナル・オーダリング(リレーショナル・オーダリング)からもたらされることを示す。 教師の能力の理解以外にも、我々の分析では、有効なサブセットの2つの特性を明らかにしている。 そこで本研究では,DVA(Difficulty- and Volume-Aware data selection for KD)を提案する。 トレーニング力学統計学は必要としないが、トレーニング力学に基づく手法と競合する一方で、トレーニング力学のないベースラインを一貫して上回っている。

関連論文リスト

• Curriculum Learning-Guided Progressive Distillation in Large Language Models [18.961191510804134]
  既存の蒸留アプローチでは、トレーニングデータの学習順序と、教師と学生のモデル間の容量ミスマッチという、2つの重要な要因を見落としていることが多い。 本稿では,教師の強度とデータ難易度を一致させることにより,両要因を統一したフレームワークであるCLPD(Curriculum Learning-Guided Progressive Distillation)を提案する。 私たちのフレームワークはモジュール化されており、最小限のオーバーヘッドで標準的な蒸留アルゴリズムに統合することができます。
  論文  参考訳（メタデータ） (2026-05-11T21:37:20Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。