論文の概要: MultiPruner: Balanced Structure Removal in Foundation Models

• arxiv url: http://arxiv.org/abs/2501.09949v1
• Date: Fri, 17 Jan 2025 04:24:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:35.893804
• Title: MultiPruner: Balanced Structure Removal in Foundation Models
• Title（参考訳）: MultiPruner:基礎モデルにおけるバランスの取れた構造除去
• Authors: J. Pablo Muñoz, Jinjie Yuan, Nilesh Jain,
• Abstract要約: 近年,大規模な事前学習モデル (LPM) を刈り取るための最先端手法として,トランスフォーマーにおける非臨界残留ブロックの非臨界除去がモデルサイズ削減に有効であることを実証している。 我々はBlockPrunerを拡張し、MultiPrunerを提案する。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License:
• Abstract: Recently, state-of-the-art approaches for pruning large pre-trained models (LPMs) have demonstrated that the training-free removal of non-critical residual blocks in Transformers is viable for reducing model size, achieving results that outperform previous training-free pruning approaches. Motivated by these findings, we extend BlockPruner (Zhong et al., 2024) and propose MultiPruner, a pruning approach that surpasses recent training-free pruning methods by adopting a multidimensional, iterative, fine-grained pruning strategy. In MultiPruner, multidimensional pruning reinstates the structural balance in block-pruned models by sequentially compressing along three dimensions: i) residual blocks, ii) channels of multilayer perceptrons (MLP), and iii) attention heads. This solution enhances zero-shot accuracy on downstream tasks compared to other techniques while improving model compression ratios, producing compressed models with fewer computing and memory requirements. Extensive experiments demonstrate the advantages of the proposed method across various large pre-trained models. The code and pruning configurations are available at https://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learning.
• Abstract（参考訳）: 近年, 大規模プレトレーニングモデル (LPM) の最先端手法により, トランスフォーマーにおける非臨界残差ブロックの非臨界除去がモデルサイズ削減に有効であることが実証され, 従来の訓練不要プルーニング手法よりも優れた結果が得られた。 これらの知見により,BlockPruner(Zhong et al , 2024)を拡張し,多次元的かつ反復的,きめ細かな刈り込み戦略を採用することにより,最近の訓練不要刈り法を超越したマルチプランナを提案する。 MultiPrunerでは、多次元プルーニングは3次元に沿って逐次圧縮することでブロックプルーニングモデルの構造バランスを回復させる。 i) 残留ブロック 二 多層パーセプトロン(MLP)及びチャネル 三 注意頭。 このソリューションは、ダウンストリームタスクにおけるゼロショット精度を他の手法と比較して向上させ、モデル圧縮比を改善し、少ない計算とメモリ要求で圧縮されたモデルを生成する。 大規模な実験は、様々な大規模事前学習モデルにまたがる提案手法の利点を実証する。 コードとプルーニング設定はhttps://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learningで確認できる。

関連論文リスト

• DarwinLM: Evolutionary Structured Pruning of Large Language Models [49.55509443720372]
  本研究では,シズナ (sysname) を提案する。 sysnameはShearedLlamaを上回り、圧縮後のトレーニング中にトレーニングデータを5ドル以下で提供する。
  論文  参考訳（メタデータ） (2025-02-11T18:59:35Z)
• Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement [9.454314879815337]
  生成モデルは、しばしば支配的な特異ベクトルを示し、微調整効率を阻害し、最適以下の性能をもたらす。 SVS(Singular Value Scaling, Singular Value Scaling, SVS)は, 両モデルタイプに適用可能な, プレナードウェイトを精製する多用途技術である。 SVSは、追加のトレーニングコストなしでモデルタイプ間の圧縮性能を改善する。
  論文  参考訳（メタデータ） (2024-12-23T08:40:08Z)
• DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization [61.492590008258986]
  大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。 本稿では,分散的にロバストな最適化を取り入れたDRPruningを提案する。
  論文  参考訳（メタデータ） (2024-11-21T12:02:39Z)
• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Single Parent Family: A Spectrum of Family Members from a Single Pre-Trained Foundation Model [20.054342930450055]
  本稿では,大規模言語モデルの圧縮に適したプログレッシブ・ローランク分解法(PLRD)を提案する。 PLRDは計算オーバーヘッドとエネルギー消費を大幅に削減する。 この結果から,PLRD は LLM の効率的なスケーリングのための新しい標準となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-28T15:27:57Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• Block Pruning For Faster Transformers [89.70392810063247]
  小型モデルと高速モデルの両方を対象としたブロックプルーニング手法を提案する。 このアプローチは、アテンションヘッドのような基盤となるモデルの完全なコンポーネントを抽出することを学ぶ。
  論文  参考訳（メタデータ） (2021-09-10T12:46:32Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。