論文の概要: Probe Pruning: Accelerating LLMs through Dynamic Pruning via Model-Probing

• arxiv url: http://arxiv.org/abs/2502.15618v1
• Date: Fri, 21 Feb 2025 17:41:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:39.458086
• Title: Probe Pruning: Accelerating LLMs through Dynamic Pruning via Model-Probing
• Title（参考訳）: プローブプルーニング:モデルプロービングによる動的プルーニングによるLCMの高速化
• Authors: Qi Le, Enmao Diao, Ziyan Wang, Xinran Wang, Jie Ding, Li Yang, Ali Anwar,
• Abstract要約: Probe Pruningは、大規模言語モデルのオンライン、動的、構造化されたプルーニングのための新しいフレームワークである。 探索、履歴インフォームドプルーニング、完全な推論の3つの主要なステージから構成される。 追加のニューラルネットワークモジュールや微調整を必要とせずに動作する。
• 参考スコア（独自算出の注目度）: 28.694253577030135
• License:
• Abstract: We introduce Probe Pruning (PP), a novel framework for online, dynamic, structured pruning of Large Language Models (LLMs) applied in a batch-wise manner. PP leverages the insight that not all samples and tokens contribute equally to the model's output, and probing a small portion of each batch effectively identifies crucial weights, enabling tailored dynamic pruning for different batches. It comprises three main stages: probing, history-informed pruning, and full inference. In the probing stage, PP selects a small yet crucial set of hidden states, based on residual importance, to run a few model layers ahead. During the history-informed pruning stage, PP strategically integrates the probing states with historical states. Subsequently, it structurally prunes weights based on the integrated states and the PP importance score, a metric developed specifically to assess the importance of each weight channel in maintaining performance. In the final stage, full inference is conducted on the remaining weights. A major advantage of PP is its compatibility with existing models, as it operates without requiring additional neural network modules or fine-tuning. Comprehensive evaluations of PP on LLaMA-2/3 and OPT models reveal that even minimal probing-using just 1.5% of FLOPs-can substantially enhance the efficiency of structured pruning of LLMs. For instance, when evaluated on LLaMA-2-7B with WikiText2, PP achieves a 2.56 times lower ratio of performance degradation per unit of runtime reduction compared to the state-of-the-art method at a 40% pruning ratio. Our code is available at https://github.com/Qi-Le1/Probe_Pruning.
• Abstract（参考訳）: Probe Pruning(PP)は,大規模言語モデル(LLM)のオンライン,動的,構造化されたプルーニングのための新しいフレームワークである。 PPは、すべてのサンプルやトークンがモデルの出力に等しく寄与するわけではないという洞察を活用し、各バッチの小さな部分が重要な重みを効果的に識別し、異なるバッチに対して調整された動的プルーニングを可能にする。 探索、履歴インフォームドプルーニング、完全な推論の3つの主要なステージから構成される。 調査段階では、PPはいくつかのモデル層を先に走らせるために、残存する重要度に基づいて、小さいが重要な隠れ状態の集合を選択する。 ヒストリー・インフォームド・プルーニングの段階では、PPは調査国家と歴史的国家を戦略的に統合する。 その後、統合状態とPP重要度スコアに基づいて重みを構造化し、各重みチャネルが性能を維持する上で重要度を評価するために特別に開発された指標である。 最終段階では、残りの重みについて完全な推論が行われる。 PPの大きな利点は、ニューラルネットワークモジュールの追加や微調整を必要とせず、既存のモデルとの互換性にある。 LLaMA-2/3およびOPTモデルにおけるPPの包括的評価により、FLOPのわずか1.5%の最小使用量でさえ、LLMの構造的刈り込みの効率を大幅に向上させることが明らかとなった。 例えば、LLaMA-2-7BをWikiText2で評価すると、PPは実行単位当たりのパフォーマンス低下率を40%のプルーニング比で比較すると2.56倍に低下する。 私たちのコードはhttps://github.com/Qi-Le1/Probe_Pruning.comで公開されています。

関連論文リスト

• Progressive Binarization with Semi-Structured Pruning for LLMs [36.32239429974179]
  大規模言語モデル(LLM)は自然言語処理タスクにおいて顕著な成功を収めた。 彼らの高い計算量とメモリ要求は、リソース制約のあるデバイスへのデプロイに困難をもたらす。 LLM圧縮のための半構造化プルーニング(PBS$2$P)法によるプログレッシブバイナリ化を提案する。
  論文  参考訳（メタデータ） (2025-02-03T13:30:29Z)
• PIP: Perturbation-based Iterative Pruning for Large Language Models [5.511065308044068]
  PIP (Perturbation-based Iterative Pruning) は,大規模言語モデルを最適化する新しい二重ビュー構造化プルーニング手法である。 実験の結果,PIPは元のモデルの精度の85%以上を維持しつつ,パラメータ数を約20%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-01-25T17:10:50Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with Module-wise Pruning Error Metric [57.3330687266266]
  より小さな事前学習モデルを用いてCLIPモデルに等級に基づくプルーニングを適用すると、柔軟性が低下し、性能が低下することがわかった。 The Module-wise Pruning Error (MoPE) metric, we introduced a unified pruning framework for both pre-training and task-specific fine-tuning compression stage。
  論文  参考訳（メタデータ） (2024-03-12T17:24:26Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models [30.246821533532017]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、ネットワークプルーニングの主要なターゲットであり、性能を損なうことなくモデルの重みを取り除く。 グラディエントベース言語モデルプルーナー (GBLM-Pruner) と呼ばれる, プレトレーニング済みLLMに対する新しいスペーサ中心プルーニング法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T18:59:54Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。