論文の概要: Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss
- arxiv url: http://arxiv.org/abs/2608.03796v1
- Date: Tue, 04 Aug 2026 15:11:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.264085
- Title: Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss
- Title（参考訳）: LLMの効率的な知識蒸留:オフライントップKロジットと融合したKL損失
- Abstract要約: 小さな言語モデルは、しばしば、厳密なレイテンシ、コスト、オンプレミスの制約の下でデプロイする唯一の選択肢である。
本稿では,蒸留訓練を効果的に行う実践者の研究について紹介する。
- 参考スコア（独自算出の注目度）: 2.7466083253666107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small language models are often the only option for deployment under tight latency, cost, and on-premises constraints, but they are rarely trained from scratch: a compressed model is usually recovered through knowledge distillation (KD). This recovery step largely decides the final quality, yet it is expensive. We present a practitioner's study of how to make distillation training efficient, organised around two systems contributions. First, we show that offline KD (caching the teacher's top-$K$ logits once and training the student against the cache) matches online distillation at near-identical training loss while removing the teacher from memory, running about 29\% faster per iteration, and reaching up to 41\% higher throughput on a single H200 GPU. Second, we introduce a \emph{fused, chunked KL loss} that never materialises the full vocabulary-sized logit tensor, making peak memory linear in the sequence length. This removes the memory spike that otherwise caps context length and lets us train at four times the context (32{,}768 tokens) on a single GPU. A separate output-head-only toy benchmark isolates the loss kernel and confirms its memory and iteration-rate scaling from 4K to 256K tokens. Together these make large-scale healing and hundreds of ablations affordable. We also report supporting ablations on loss design and sequence packing. We release our chunked-loss implementation: https://github.com/CompactifAI/Full-Chunked-KL-Loss.
- Abstract（参考訳）: 小さな言語モデルは、しばしば、厳密なレイテンシ、コスト、オンプレミスの制約の下でのデプロイメントのための唯一の選択肢であるが、それらはスクラッチからトレーニングされることは滅多にない。
この回復段階は最終品質を決定するが、高価である。
本稿では,2つのシステム・コントリビューションを中心に組織された蒸留訓練の効率化に関する実践的研究について述べる。
まず、オフラインのKD(教師の1対1のログを取得し、キャッシュに対して学生をトレーニングする)が、ほぼ同一のトレーニング損失でオンライン蒸留と一致し、教師をメモリから取り除き、1回のイテレーションで約29倍速く動作し、1つのH200 GPUで最大41倍のスループットに到達したことを示す。
第2に,全語彙サイズのロジットテンソルを具現化せず,ピークメモリを列長で線形にする「emph{fused, chunked KL loss」を導入する。
これにより、コンテキスト長を上限とするメモリスパイクが取り除かれ、単一のGPU上でコンテキスト(32{,}768トークン)の4倍のトレーニングが可能になります。
出力ヘッドのみのおもちゃベンチマークは、ロスカーネルを分離し、4Kから256Kトークンまでのメモリとイテレーションレートのスケーリングを確認する。
これらが合わさって、大規模な治癒と数百のアブレーションが手頃な価格になる。
また,損失設計とシーケンスパッキングに関する問題点も報告した。
https://github.com/CompactifAI/Full-Chunked-KL-Loss。
関連論文リスト
- MemoryWalker: Stop Training Agents on Contexts They Never Saw [63.70354425435078]
生産エージェントは、ロールアウト中にClaude CodeやQwen-Agent圧縮コンテキストを使用する。
圧縮下でのトレーニングは条件付けの問題を発生させる: すべての信念は有効な歴史を分岐するので、学習対象は列ではなく木である。
我々は、LogitTree と SDCC の2つの正確な勾配等価補正を導入する。
論文 参考訳（メタデータ） (2026-09-01T08:01:27Z) - StreamKL: Fast and Memory-Efficient KL Divergence for Boosting Attention Distillation [9.82608878263804]
留置蒸留は、KL(Kulback-Leibler)の分散を最小化して、互いに一致するように注意を向ける。
既存のアプローチはKLの削減を計算する前に注意を喚起し、O(N_QN_K)$メモリとIOコストが長期にわたって禁止される。
本稿では,この二次的な物質化を排除した最初の融合GPUプリミティブであるStreamKLを紹介する。
論文 参考訳（メタデータ） (2026-06-18T09:40:38Z) - LinearARD: Linear-Memory Attention Distillation for RoPE Restoration [18.31933793423935]
LinearARDは、RoPE(Rotary Position Embeddings)スケールの学生を、凍結したネイティブ-RoPE教師との注意構造整合によって復元する。
n 倍 n 倍の関係写像の二次的メモリボトルネックを克服するために,線形メモリカーネルを導入する。
4Kから32Kに拡張されたLLaMA2-7Bでは、LinearARDは、最先端のベースラインの短文性能の98.3%を回復し、長文のベンチマークではそれらを上回っている。
論文 参考訳（メタデータ） (2026-03-09T10:51:01Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - Distilling the Essence: Efficient Reasoning Distillation via Sequence Truncation [27.167625134416156]
大きな言語モデルからより小さな学生モデルへの推論能力を希釈するには、かなりの量の推論データのトレーニングが必要となることが多い。
異なるセグメント(P, CoT, A)にまたがる監督の割り当てが学生のパフォーマンスにどのように影響するかを検討する。
各トレーニングシーケンスの最初の50%ドルのトークンのみのトレーニングは、平均して$approx94%のフルシーケンスパフォーマンスを保持することができる。
論文 参考訳（メタデータ） (2025-12-24T06:57:35Z) - REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。
最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。
生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。
HASTEを紹介する
論文 参考訳（メタデータ） (2025-05-22T15:34:33Z) - Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。
CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
論文 参考訳（メタデータ） (2024-11-13T20:30:15Z) - Enhancing Logits Distillation with Plug\&Play Kendall's $τ$ Ranking Loss [33.77389987117822]
知識蒸留は通常、教師と学生のロジット間のKL(Kulback-Leibler)のばらつきを最小限に抑える。
その結果,KL分散尺度によって引き起こされる勾配は,教師の対数の大きさとともに,低確率チャネルの更新を減少させることがわかった。
我々はKendallの$tau$係数に基づいて,任意のロジット蒸留フレームワークにシームレスに統合可能な補助的なランキング損失を提案する。
論文 参考訳（メタデータ） (2024-09-26T13:21:02Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳（メタデータ） (2024-02-14T18:54:56Z) - Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。
我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。
提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
論文 参考訳（メタデータ） (2023-05-23T11:17:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。