論文の概要: Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs
- arxiv url: http://arxiv.org/abs/2608.22854v1
- Date: Mon, 24 Aug 2026 06:36:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.906806
- Title: Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs
- Title（参考訳）: 適度なサイズを考える: トレーニング後のLSM全体での保存蒸留
- Abstract要約: 我々は, モデルファミリーの両軸をまたいで蒸留を行うためのフレームワークであるADAPT--Amortized Distillation Across PostTrained LLMsを紹介した。
第一に,2相蒸留法は,事前学習のアライメントと微調整の指導により,後生を育成するものである。
モデルの結果の連続性は、推論時に適応的なモデルサイズ選択を可能にする。
- 参考スコア（独自算出の注目度）: 36.805962131025694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Practical deployment of large language models (LLMs) requires families of post-trained variants---instruction-tuned, reasoning-tuned, and chat-style models---each at multiple sizes to meet diverse latency and memory budgets. Producing each (variant, size) pair independently is prohibitive, so model families typically span only a handful of coarse-grained sizes per post-trained variant. Boomerang distillation (Kangaslahti et al., 2026) reduces this cost along the size axis for base models. Through model size interpolation, it constructs models of intermediate sizes from a single teacher-student pair without additional training. However, it still treats each post-trained variant as a separate object of optimization. We introduce ADAPT---Amortized Distillation Across Post-Trained LLMs---a framework for amortizing distillation across both axes of a model family: size and post-training variant, producing $L \times K$ models for $L$ interpolated sizes across $K$ post-trained variants with a single distillation run. ADAPT combines two components. First, a two-phase distillation procedure constructs post-trained students through pre-training alignment and supervised fine-tuning distillation, enabling smooth size--performance interpolation on generation and reasoning tasks. Second, weight-delta initialization approximates this construction across post-trained variants by transferring the distillation-induced weight change from the base model to students initialized from different post-trained variants. The resulting continuum of interpolated models also enables adaptive model-size selection at inference time, improving the compute--accuracy trade-off for long-form reasoning tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)の実践的なデプロイには、トレーニング後の派生 — 命令のチューニング、推論のチューニング、チャットスタイル – のファミリーが必要です。
それぞれの(変種、サイズ)ペアを独立に生成することは禁じられているので、モデルファミリは通常、訓練後の変種ごとにわずかに粗い粒度しか持たない。
ブーメラン蒸留(Kangaslahti et al , 2026)は、ベースモデルのサイズ軸に沿ってこのコストを下げる。
モデルサイズ補間により、追加の訓練なしに1人の教師と学生のペアから中間サイズのモデルを構築する。
しかし、訓練後の各変種を別の最適化対象として扱い続けている。
モデルファミリーの両軸をまたいで蒸留を行うためのフレームワークであるADAPT--Amortized Distillation Across Post-Trained LLMs--について紹介する。
ADAPTは2つのコンポーネントを結合する。
第一に,2段階蒸留法は,事前トレーニングアライメントを施し,微調整蒸留を指導し,学習後の学生を2段階蒸留法で構成し,生成・推論タスクにおける円滑なサイズ・性能補間を可能にする。
第二に、重み-デルタ初期化は、蒸留誘起重量変化を基礎モデルから異なる訓練後の変種から初期化した学生に転移させることにより、訓練後の変種間でこの構成を近似する。
補間されたモデルの連続性はまた、推論時に適応的なモデルサイズ選択を可能にし、長文推論タスクの計算精度トレードオフを改善する。
関連論文リスト
- Reverse Distillation: Consistently Scaling Protein Language Model Representations [0.6066775336291516]
リバース蒸留(Reverse Distillation)は、PLMの表現を同じ家系のより小さなモデルで導かれる部分空間に分解する原理的なフレームワークである。
動機となる直感は、キャパシティによって制約されたより小さなモデルが、広く共有されたタンパク質の特徴を優先的にエンコードすることである。
ProteinGymベンチマークでは、逆蒸留ESM-2変種がそれぞれのベースラインを同じ埋め込み次元で上回り、逆蒸留された15億のパラメータモデルが最も高い性能を達成した。
論文 参考訳（メタデータ） (2026-03-08T16:24:05Z) - Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。
ネストしたサブモデルを単一の親モデルに組み込む。
これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
論文 参考訳（メタデータ） (2025-11-20T18:59:21Z) - Boomerang Distillation Enables Zero-Shot Model Size Interpolation [30.74896485280105]
既存のアプローチは、各サイズを個別にトレーニングすることでモデルファミリを構築する。
本研究では,ブーメラン蒸留と呼ばれる新しい現象を同定する。
最初は小さな学生に蒸留し、その後、教師層のブロックを学生に組み込むことで、段階的に中間サイズのモデルを再構築する。
論文 参考訳（メタデータ） (2025-10-06T17:41:20Z) - FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models [35.40065954148091]
FINEはLearngeneフレームワークに基づく、事前訓練されたモデルを利用した下流ネットワークの初期化手法である。
事前学習された知識を行列の積(例えば$U$, $Sigma$, $V$)に分解する。
これは、特により小さなモデルにおいて、直接事前訓練よりも一貫して優れており、可変モデルのサイズで最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-09-28T08:57:17Z) - POA: Pre-training Once for Models of All Sizes [33.72644336390202]
我々はPOA(Pre-Treating Once for All)と呼ばれる新しい三枝型自己教師型トレーニングフレームワークを提案する。
我々のアプローチは、革新的な弾性的な学生分岐を近代的な自己蒸留パラダイムに導入する。
ViT、Swin Transformer、ResNetのバックボーンを使って最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-08-02T06:13:29Z) - MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。
MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。
また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文 参考訳（メタデータ） (2024-06-11T17:55:25Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳（メタデータ） (2023-10-16T06:16:47Z) - MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。
MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。
8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
論文 参考訳（メタデータ） (2023-10-11T17:57:14Z) - Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。
提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
論文 参考訳（メタデータ） (2023-10-10T15:13:30Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳（メタデータ） (2022-12-19T19:16:29Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳（メタデータ） (2021-10-14T04:05:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。