論文の概要: Revealing the Power of Post-Training for Small Language Models via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2509.26497v1
• Date: Tue, 30 Sep 2025 16:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.20936
• Title: Revealing the Power of Post-Training for Small Language Models via Knowledge Distillation
• Title（参考訳）: 知識蒸留による小言語モデルの後学習力の解明
• Authors: Miao Rang, Zhenni Bi, Hang Zhou, Hanting Chen, An Xiao, Tianyu Guo, Kai Han, Xinghao Chen, Yunhe Wang,
• Abstract要約: 我々は,小型モデルの精度を効果的に向上する,系統的な後学習パイプラインを導入する。 結果として得られた命令調整モデルにより、最先端のパフォーマンスが達成される。 この研究は、Ascendエッジデバイス上で高性能言語モデルを開発するための実用的で効率的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 43.68215777330875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models (LLMs) has significantly advanced the capabilities of artificial intelligence across various domains. However, their massive scale and high computational costs render them unsuitable for direct deployment in resource-constrained edge environments. This creates a critical need for high-performance small models that can operate efficiently at the edge. Yet, after pre-training alone, these smaller models often fail to meet the performance requirements of complex tasks. To bridge this gap, we introduce a systematic post-training pipeline that efficiently enhances small model accuracy. Our post training pipeline consists of curriculum-based supervised fine-tuning (SFT) and offline on-policy knowledge distillation. The resulting instruction-tuned model achieves state-of-the-art performance among billion-parameter models, demonstrating strong generalization under strict hardware constraints while maintaining competitive accuracy across a variety of tasks. This work provides a practical and efficient solution for developing high-performance language models on Ascend edge devices.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、さまざまな領域にわたる人工知能の能力を大幅に向上させた。 しかし、その大規模で高い計算コストは、資源制約されたエッジ環境への直接配置には適さない。 これにより、エッジで効率的に動作可能な高性能な小型モデルに対して、重要なニーズが生じる。 しかし、事前トレーニングだけでは、これらの小さなモデルは複雑なタスクのパフォーマンス要件を満たすことができないことが多い。 このギャップを埋めるために,小型モデルの精度を効率的に向上する系統的な後学習パイプラインを導入する。 我々のポストトレーニングパイプラインは、カリキュラムベースの教師あり微調整(SFT)とオフラインのオンライン知識蒸留からなる。 その結果,10億パラメータモデル間での最先端性能を実現し,各種タスク間の競争精度を維持しつつ,厳密なハードウェア制約下での強力な一般化を実証する。 この研究は、Ascendエッジデバイス上で高性能言語モデルを開発するための実用的で効率的なソリューションを提供する。

関連論文リスト

• An Effective Training Framework for Light-Weight Automatic Speech Recognition Models [10.295690160466936]
  一つの大モデルから複数の小さなモデルを生成することができる2段階の効率的な表現学習手法を提案する。 提案手法は,単語誤り率を最大12.54%向上させる3倍の学習速度を実現する。
  論文  参考訳（メタデータ） (2025-05-22T17:55:09Z)
• Gatekeeper: Improving Model Cascades Through Confidence Tuning [42.1160183944637]
  カスケード構成の小型モデルを校正するための新しい損失関数「ゲートキーパー」を導入する。 我々のアプローチは、より小さなモデルを微調整して、より大規模なモデルに複雑なタスクを遅延させながら、正しく実行できるタスクを確実に処理する。
  論文  参考訳（メタデータ） (2025-02-26T17:29:08Z)
• Super Tiny Language Models [3.8353434814956517]
  本稿では,スーパーティニー言語モデル(STLM)に着目した一連の研究成果を紹介する。 我々は,プーリング機構によるバイトレベルのトークン化,ウェイトタイリング,効率的なトレーニング戦略など,革新的な手法を探求する。 我々の最終的な目標は、広範囲のアプリケーションに対して、高性能な言語モデルをよりアクセスしやすく、実用的なものにすることです。
  論文  参考訳（メタデータ） (2024-05-23T04:12:49Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
  我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。 また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-09-22T00:57:46Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。