論文の概要: PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning

• arxiv url: http://arxiv.org/abs/2606.10369v1
• Date: Tue, 09 Jun 2026 03:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.29207
• Title: PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning
• Title（参考訳）: PADD:非ルーター教師による学習指導のための経路適応型減圧蒸留
• Authors: Xinyue Peng, Yi Qian, Jiaojiao Lin, Wenjian Shao, Yanming Liu,
• Abstract要約: そこで本稿では,Mix-of-experts (MoE) の学生に明示的なルーティングを行わずに,高密度教師から知識を抽出する枠組みを提案する。 PADDは知識蒸留を2段階に分けて4段階に編成する。 数学的推論ベンチマークの実験では、PADDは同じ推論コストで強いベースラインよりもかなりの利得が得られることが示されている。
• 参考スコア（独自算出の注目度）: 6.859152609114212
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As large language models (LLMs) continue to scale, it becomes increasingly challenging to grow model capacity under fixed computation budgets. We propose Path-Aligned Decompression Distillation (PADD), a framework for distilling knowledge from dense teachers without explicit routing into mixture-of-experts (MoE) students while learning high-quality routing policies. PADD organizes knowledge distillation into four stages in two phases: an initialization phase (Stage I) that builds diverse functionality in the student's experts through teacher neuron clustering and student-expert warmup, and a training phase (Stages II--IV) that integrates online adaptive distillation, path-refined policy optimization, and reward-augmented load balancing in a single training pipeline. Experiments on mathematical reasoning benchmarks demonstrate that PADD yields substantial gains over strong baselines at the same inference cost and that the MoE student can match or surpass its dense teacher. They also demonstrate effective teacher-to-student knowledge distillation and stable routing behavior.
• Abstract（参考訳）: 大規模言語モデル(LLM)が拡大を続けるにつれ、固定された計算予算の下でモデルの容量を増やすことはますます困難になっている。 高品質なルーティング方針を学習しながら,ME(Mix-of-Experts)の学生に明示的なルーティングを行なわずに,高密度教師から知識を抽出する枠組みであるPath-Aligned Decompression Distillation (PADD)を提案する。 PADDは、知識蒸留を4段階に分けて、教師のニューロンクラスタリングと学生専門家のウォームアップを通じて、学生のエキスパートに多様な機能を構築する初期化フェーズ(Stage I)と、オンライン適応蒸留、パス修正ポリシー最適化、報酬増強ロードバランシングを1つの訓練パイプラインに統合するトレーニングフェーズ(Stage II-IV)の4段階に編成する。 数学的推論ベンチマークの実験では、PADDは、同じ推論コストで強いベースラインよりも大幅に向上し、MoEの学生はその高密度の教師と一致または超えることを示した。 また、教師から学生への効果的な知識蒸留と安定したルーティング行動を示す。

関連論文リスト

• Curriculum Learning-Guided Progressive Distillation in Large Language Models [18.961191510804134]
  既存の蒸留アプローチでは、トレーニングデータの学習順序と、教師と学生のモデル間の容量ミスマッチという、2つの重要な要因を見落としていることが多い。 本稿では,教師の強度とデータ難易度を一致させることにより,両要因を統一したフレームワークであるCLPD(Curriculum Learning-Guided Progressive Distillation)を提案する。 私たちのフレームワークはモジュール化されており、最小限のオーバーヘッドで標準的な蒸留アルゴリズムに統合することができます。
  論文  参考訳（メタデータ） (2026-05-11T21:37:20Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
  経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。 従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
  論文  参考訳（メタデータ） (2025-08-23T01:15:57Z)
• JointDistill: Adaptive Multi-Task Distillation for Joint Depth Estimation and Scene Segmentation [31.89422375115854]
  この研究は、マルチタスク蒸留を用いて統一モデリングを改善する方法について検討する。 学生の現在の学習能力に応じて各教師の知識量を調整できる自己適応型蒸留法を提案する。 我々は,CityscapesやNYU-v2など,複数のベンチマークデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2025-05-15T08:00:48Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Gap Preserving Distillation by Building Bidirectional Mappings with A Dynamic Teacher [43.678380057638016]
  Gap Preserving Distillation (GPD) 法は、生徒にこのギャップを埋めるように訓練すると共に、スクラッチから追加の動的教師モデルを訓練する。 実験では、GPDはCNNとトランスフォーマーアーキテクチャの両方で既存の蒸留法よりも大幅に優れている。 GPDはまた、スクラッチからのトレーニングや微調整を含む事前訓練を受けた教師なしでシナリオを一般化し、ResNet18では1.80%と0.89%の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-10-05T12:29:51Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。