論文の概要: A Convex-optimization-based Layer-wise Post-training Pruner for Large Language Models

• arxiv url: http://arxiv.org/abs/2408.03728v1
• Date: Wed, 7 Aug 2024 12:33:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 12:25:11.139147
• Title: A Convex-optimization-based Layer-wise Post-training Pruner for Large Language Models
• Title（参考訳）: 凸最適化に基づく大規模言語モデルのための階層学習後プランナ
• Authors: Pengxiang Zhao, Hanyu Hu, Ping Li, Yi Zheng, Zhefeng Wang, Xiaoming Yuan,
• Abstract要約: 本稿では,凸最適化モデルとアルゴリズムに基づく最初のポストトレーニングプルーナであるFISTAPrunerを紹介する。 FISTAPrunerは層内累積誤差補正機構を搭載し、並列プルーニングをサポートする。 OPT, LLaMA, LLaMA-2, LLaMA-3 などのモデルにおける FISTAPruner の評価を行った。
• 参考スコア（独自算出の注目度）: 24.185245582500876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is a critical strategy for compressing trained large language models (LLMs), aiming at substantial memory conservation and computational acceleration without compromising performance. However, existing pruning methods often necessitate inefficient retraining for billion-scale LLMs or rely on heuristic methods such as the optimal brain surgeon framework, which degrade performance. In this paper, we introduce FISTAPruner, the first post-training pruner based on convex optimization models and algorithms. Specifically, we propose a convex optimization model incorporating $\ell_1$ norm to induce sparsity and utilize the FISTA solver for optimization. FISTAPruner incorporates an intra-layer cumulative error correction mechanism and supports parallel pruning. We comprehensively evaluate FISTAPruner on models such as OPT, LLaMA, LLaMA-2, and LLaMA-3 with 125M to 70B parameters under unstructured and 2:4 semi-structured sparsity, demonstrating superior performance over existing state-of-the-art methods across various language benchmarks.
• Abstract（参考訳）: プラニングは訓練済みの大規模言語モデル(LLM)を圧縮するための重要な戦略であり、性能を損なうことなくメモリ保存と計算の高速化を実現する。 しかし、既存のプルーニング法は、数十億のLLMの非効率な再訓練を必要とすることや、性能を低下させる最適な脳外科医の枠組みのようなヒューリスティックな手法に依存していることが多い。 本稿では,凸最適化モデルとアルゴリズムに基づく最初のポストトレーニングプルーナーであるFISTAPrunerを紹介する。 具体的には,$\ell_1$ノルムを取り入れた凸最適化モデルを提案し,FISTAソルバを用いて最適化を行う。 FISTAPrunerは層内累積誤差補正機構を搭載し、並列プルーニングをサポートする。 OPT, LLaMA, LLaMA-2, LLaMA-3などのモデル上でFISTAPrunerを, 125Mから70Bのパラメータを非構造化および2:4の半構造化空間下で総合的に評価し, 各種言語ベンチマークにおける既存手法よりも優れた性能を示した。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Greedy Output Approximation: Towards Efficient Structured Pruning for LLMs Without Retraining [16.026565606764954]
  我々は Transformer-based large language model (LLMs) のプルーニングプロセスを単純化する。 出力近似の最適化から導いた2つの推論対応プルーニング基準を提案する。 また,モデル再トレーニングを伴わずにプルーニングエラーを軽減するための2段階再構成手法も導入した。
  論文  参考訳（メタデータ） (2024-07-26T23:53:59Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• End-to-End Stochastic Optimization with Energy-Based Model [18.60842637575249]
  近年,未知パラメータを含む客観的最適化問題に対して,DFL(Decision- Focus Learning)が提案されている。 エネルギーモデルを用いた層最適化のための汎用的で効率的なDFL手法SO-EBMを提案する。
  論文  参考訳（メタデータ） (2022-11-25T00:14:12Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。