論文の概要: Self-Data Distillation for Recovering Quality in Pruned Large Language Models

• arxiv url: http://arxiv.org/abs/2410.09982v3
• Date: Tue, 12 Nov 2024 04:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:38.108878
• Title: Self-Data Distillation for Recovering Quality in Pruned Large Language Models
• Title（参考訳）: 大規模言語モデルにおける品質回復のための自己データ蒸留法
• Authors: Vithursan Thangarasa, Ganesh Venkatesh, Mike Lasby, Nish Sinnadurai, Sean Lie,
• Abstract要約: ワンショットプルーニングは、特に多段階推論を必要とするタスクにおいて、大幅な品質劣化をもたらす。 品質の低下を回復するために、教師付き微調整(SFT)が一般的に用いられるが、これは破滅的な忘れを招きかねない。 本研究では,これらの課題に対処するために,自己データ蒸留ファインチューニングを利用する。
• 参考スコア（独自算出の注目度）: 1.5665059604715017
• License:
• Abstract: Large language models have driven significant progress in natural language processing, but their deployment requires substantial compute and memory resources. As models scale, compression techniques become essential for balancing model quality with computational efficiency. Structured pruning, which removes less critical components of the model, is a promising strategy for reducing complexity. However, one-shot pruning often results in significant quality degradation, particularly in tasks requiring multi-step reasoning. To recover lost quality, supervised fine-tuning (SFT) is commonly applied, but it can lead to catastrophic forgetting by shifting the model's learned data distribution. Therefore, addressing the degradation from both pruning and SFT is essential to preserve the original model's quality. In this work, we utilize self-data distilled fine-tuning to address these challenges. Our approach leverages the original, unpruned model to generate a distilled dataset that preserves semantic richness and mitigates catastrophic forgetting by maintaining alignment with the base model's knowledge. Empirically, we demonstrate that self-data distillation consistently outperforms standard SFT, improving average accuracy by up to 8% on the HuggingFace OpenLLM Leaderboard v1. Specifically, when pruning six decoder blocks on Llama3.1-8B Instruct (i.e., 32 to 26 layers, reducing the model size from 8.03B to 6.72B parameters), our method retains 91.2% of the original model's accuracy compared to 81.7% with SFT, while reducing real-world FLOPs by 16.3%. Furthermore, combining self-data distilled models through model merging yields enhanced quality retention. Additionally, leveraging these pruned models in speculative decoding increases token acceptance rates, thereby improving inference efficiency in applied settings.
• Abstract（参考訳）: 大規模言語モデルは自然言語処理に大きな進歩をもたらしたが、その展開には相当な計算資源とメモリ資源が必要である。 モデルがスケールするにつれて、モデル品質と計算効率のバランスをとるために圧縮技術が不可欠になる。 構造的プルーニング(Structured pruning)は、モデルの重要でないコンポーネントを排除し、複雑さを減らすための有望な戦略である。 しかし、特に多段階の推論を必要とするタスクにおいて、ワンショットプルーニングはしばしば大幅な品質劣化をもたらす。 損失品質を回復するために、教師付き微調整(SFT)が一般的に適用されるが、モデルの学習したデータ分布をシフトさせることで破滅的な忘れを招きかねない。 したがって、プルーニングとSFTの両方の劣化に対処することは、元のモデルの品質を維持するために不可欠である。 本研究では,これらの課題に対処するために,自己データ蒸留ファインチューニングを利用する。 提案手法では, 基本モデルの知識との整合性を維持することにより, 意味的豊かさを保ち, 破滅的な忘れを緩和する蒸留データセットを生成する。 実験により,HuggingFace OpenLLM Leaderboard v1では,自己データ蒸留が標準SFTより一貫して優れており,平均精度が最大8%向上していることが示された。 具体的には、Llama3.1-8Bインストラクト(32から26層、モデルサイズ8.03Bから6.72Bパラメータ)で6つのデコーダブロックをプルーニングする場合、実際のFLOPを16.3%削減しつつ、SFTと比較して元のモデルの精度の91.2%を維持している。 さらに、モデルマージによる自己データ蒸留モデルの組み合わせにより、品質保持が向上する。 さらに、これらのプルーンドモデルを投機的復号化に活用することでトークンの受入率が向上し、適用された設定における推論効率が向上する。

関連論文リスト

• Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression [24.119415458653616]
  我々はモデル非依存とタスク非依存の両方に同時に対処する新しい統一型刈取フレームワークComb, Prune, Distill (CPD)を提案する。 当社のフレームワークは階層的な階層的な依存性問題を解決するための統合的なステップを採用しており、アーキテクチャの独立性を実現しています。 画像分類では、精度が1.8%、セマンティックセグメンテーションがx1.89、mIoUが5.1%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-08-06T09:02:31Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Three-Stage Adjusted Regression Forecasting (TSARF) for Software Defect Prediction [5.826476252191368]
  非均一ポアソン過程 (NHPP) SRGM が最も一般的に用いられるモデルである。 モデル複雑性の増大は、堅牢で計算効率のよいアルゴリズムを識別する上での課題である。
  論文  参考訳（メタデータ） (2024-01-31T02:19:35Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Accurate and Structured Pruning for Efficient Automatic Speech Recognition [23.897482741744117]
  本稿では,コンバータモデルのモデルサイズと推論コストを削減するための新しい圧縮手法を提案する。 提案手法は, モデルサイズを50%削減し, 推論コストを28%削減し, 性能損失を最小限に抑える。
  論文  参考訳（メタデータ） (2023-05-31T04:31:16Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。