論文の概要: DisaggKD: Efficient Knowledge Distillation through Teacher-Student Disaggregation and a Fused Loss

• arxiv url: http://arxiv.org/abs/2610.17644v1
• Date: Tue, 13 Oct 2026 03:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:01:24.245582
• Title: DisaggKD: Efficient Knowledge Distillation through Teacher-Student Disaggregation and a Fused Loss
• Title（参考訳）: DisaggKD:教師の分散と融合損失による効率的な知識蒸留
• Abstract要約: 知識蒸留(KD)フレームワークは、教師と生徒を同じGPUに配置する。 教師は隠れた状態を学生にストリームし、列ウィンドウ上のKD損失は正確な算術における全語彙損失と等しい。
• 参考スコア（独自算出の注目度）: 3.0795668932789515
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowledge distillation (KD) frameworks place teacher and student on the same GPUs, so per-GPU memory limits the teachers that fit. DisaggKD separates them across nodes: teacher replicas stream hidden states to the student, a KD loss over row windows and vocabulary shards equals the full-vocabulary loss in exact arithmetic without forming the full-vocabulary logits, and a prefetch ring paces producer and trainer. Closed-form memory and traffic models locate the memory limits of each layout. On the Qwen3.5-35B-A3B to 9B pair, the disaggregated layout matches the LM loss of the colocated run with the same loss and is faster than that run; our fused loss also lets a colocated run train on as few nodes at faster speed, while the split is memory efficient when the student spans several nodes. On the larger pairs, colocated runs with a fused loss still run OOM where the split trains, because teacher weights and student states fill the budget.
• Abstract（参考訳）: 知識蒸留(KD)フレームワークは、教師と生徒を同じGPUに配置する。 教師は隠れた状態を学生にストリームし、行ウィンドウと語彙シャードのKD損失は、完全な語彙ロジットを形成することなく正確な算術における完全な語彙損失と等しく、プリフェッチリングはプロデューサとトレーナーをペースさせる。 クローズドフォームメモリとトラフィックモデルは、各レイアウトのメモリ限界を特定する。 Qwen3.5-35B-A3B 対 9B の場合、分解されたレイアウトは、同じ損失で、同じ損失で、その損失よりも高速である。 より大きなペアでは、教師の重量と生徒の州が予算を充足しているため、混乱した損失を伴う共同運転が分割列車が運行されているOOMを運行している。

関連論文リスト

• TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control [61.31878177726721]
  TACD (terminal-Amplification-Controlled Distillation) は、効率的なモーションジェネレータを訓練するためのオンラインアプローチである。 本研究は, オンライン蒸留法を用いて, 学生が生成した軌跡に沿ったクリーンモーション予測を監督する。
  論文  参考訳（メタデータ） (2026-10-02T06:06:36Z)
• What Visual Generators Need from Teachers: Rethinking Representation Alignment [9.286732771749703]
  本研究は, 生徒が教師の特徴をリニアに回復できない場所において, 生徒がすでに類似している場所にアライメントを組み込むことが, 有効であることを示す。 深層教師層は下層からほぼ予測可能であるため、各層が追加するものと増分を分離し、不整合の生徒がどれだけ回復するかを測定する。
  論文  参考訳（メタデータ） (2026-09-28T09:30:50Z)
• Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers [2.6641834518599303]
  そこで我々は,教師が抱える問題から,各学習者の気道におけるトークンの確率がどう変化するかを測定した。 継続に基づく推定とは異なり、学習容易性は追加生成を必要とせず、格納された軌跡やモデルチェックポイントから一度計算できる。
  論文  参考訳（メタデータ） (2026-09-16T08:41:16Z)
• Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss [2.7466083253666107]
  小さな言語モデルは、しばしば、厳密なレイテンシ、コスト、オンプレミスの制約の下でデプロイする唯一の選択肢である。 本稿では,蒸留訓練を効果的に行う実践者の研究について紹介する。
  論文  参考訳（メタデータ） (2026-08-04T15:11:45Z)
• Score-Only Distillation for Compact Dense Retrieval [3.340699005490366]
  本研究では,教師が隠れた状態にアクセスすることなく,スコアベクトルから教師のランク付け行動を学習できるかどうかを検討する。 PairMSE損失のメモリ効率向上を目的とした,行中心のスコアベクター目標を用いた。 蒸留した0.6Bの学生はクエリエンコーディングが4.7$times$、ドキュメントエンコーディングが9.7$times$である。
  論文  参考訳（メタデータ） (2026-07-13T12:18:13Z)
• REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
  Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。 最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。 生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。 HASTEを紹介する
  論文  参考訳（メタデータ） (2025-05-22T15:34:33Z)
• Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
  我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。 CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
  論文  参考訳（メタデータ） (2024-11-13T20:30:15Z)
• AutoDistil: Few-shot Task-agnostic Neural Architecture Search for Distilling Large Language Models [121.22644352431199]
  ニューラルアーキテクチャサーチ (NAS) を用いて、大容量モデルから可変コストで複数の圧縮された学生を自動的に抽出する。 現在の作業では、ウェイトシェアリングを備えた数百万の作業からなる1つのSuperLMをトレーニングしています。 最先端のKDおよびNAS手法に対するGLUEベンチマーク実験は、AutoDistilが先行圧縮技術より優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T06:13:04Z)
• Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
  本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。 我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
  論文  参考訳（メタデータ） (2020-04-11T04:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。