論文の概要: ReplaceMe: Network Simplification via Layer Pruning and Linear Transformations
- arxiv url: http://arxiv.org/abs/2505.02819v1
- Date: Mon, 05 May 2025 17:47:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.75832
- Title: ReplaceMe: Network Simplification via Layer Pruning and Linear Transformations
- Title（参考訳）: ReplaceMe: レイヤプルーニングと線形変換によるネットワーク単純化
- Authors: Dmitriy Shopkhoev, Ammar Ali, Magauiya Zhussip, Valentin Malykh, Stamatios Lefkimmiatis, Nikos Komodakis, Sergey Zagoruyko,
- Abstract要約: ReplaceMeは、大規模言語モデルのトレーニング不要な深度解析手法である。
低圧縮比で高い性能を維持しつつ、変圧器ブロックを線形演算に置き換える。
ReplaceMeを実装したオープンソースのライブラリを,最先端のプルーニング技術とともに提供している。
- 参考スコア（独自算出の注目度）: 13.89564711461493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce ReplaceMe, a generalized training-free depth pruning method that effectively replaces transformer blocks with a linear operation, while maintaining high performance for low compression ratios. In contrast to conventional pruning approaches that require additional training or fine-tuning, our approach requires only a small calibration dataset that is used to estimate a linear transformation to approximate the pruned blocks. This estimated linear mapping can be seamlessly merged with the remaining transformer blocks, eliminating the need for any additional network parameters. Our experiments show that ReplaceMe consistently outperforms other training-free approaches and remains highly competitive with state-of-the-art pruning methods that involve extensive retraining/fine-tuning and architectural modifications. Applied to several large language models (LLMs), ReplaceMe achieves up to 25% pruning while retaining approximately 90% of the original model's performance on open benchmarks - without any training or healing steps, resulting in minimal computational overhead (see Fig.1). We provide an open-source library implementing ReplaceMe alongside several state-of-the-art depth pruning techniques, available at this repository.
- Abstract（参考訳）: ReplaceMeは,低圧縮比で高い性能を維持しつつ,変圧器ブロックを線形演算で効果的に置き換える汎用的な訓練自由深さ刈取法である。
追加のトレーニングや微調整を必要とする従来のプルーニング手法とは対照的に,本手法では,プルーニングブロックを近似するために線形変換を推定するために使用される,小さなキャリブレーションデータセットのみを必要とする。
この推定線形写像は、残りの変圧器ブロックとシームレスにマージすることができ、追加のネットワークパラメータを必要としない。
我々の実験によると、ReplaceMeはトレーニングなしのアプローチを一貫して上回り、大規模なリトレーニング/ファインチューニングとアーキテクチャ修正を含む最先端のプルーニング手法と高い競争力を保っている。
いくつかの大規模言語モデル(LLM)に適用されたReplaceMeは、オープンベンチマークでのオリジナルのモデルのパフォーマンスの約90%を保持しながら、最大25%のプルーニングを実現している。
我々はReplaceMeを実装したオープンソースのライブラリを,いくつかの最先端のプルーニング技術とともに,このリポジトリで公開しています。
関連論文リスト
- ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Greedy Output Approximation: Towards Efficient Structured Pruning for LLMs Without Retraining [16.026565606764954]
我々は Transformer-based large language model (LLMs) のプルーニングプロセスを単純化する。
出力近似の最適化から導いた2つの推論対応プルーニング基準を提案する。
また,モデル再トレーニングを伴わずにプルーニングエラーを軽減するための2段階再構成手法も導入した。
論文 参考訳（メタデータ） (2024-07-26T23:53:59Z) - Reconstruct the Pruned Model without Any Retraining [23.235907813011174]
本稿では,線形補間に基づく適応再構成(LIAR)フレームワークを提案する。
LIARはバックプロパゲーションや再トレーニングを必要とせず、様々なプルーニング基準やモジュールと互換性がある。
GLUE, SQuAD, WikiText, 常識推論などのベンチマークによる評価の結果, LIARはパラメータの50%を除去しても, 98%の精度でBERTモデルを維持できることがわかった。
論文 参考訳（メタデータ） (2024-07-18T09:30:44Z) - PERP: Rethinking the Prune-Retrain Paradigm in the Era of LLMs [22.557682089926004]
パラメータの小さなサブセットを更新すれば、刈り込み後の回復や性能向上に十分であることを示す。
標準のLoRAとは異なり、スパシティを損なうことなくアダプタを再びマージできる2つの新しいLoRA変種を導入する。
論文 参考訳（メタデータ） (2023-12-23T11:45:22Z) - Geometry-aware training of factorized layers in tensor Tucker format [6.701651480567394]
重みテンソルのタッカー分解の要因を学習するための新しい手法を提案する。
トレーニングの提案は, 元の非リファクタリング力学を局所的に近似する上で最適であることが証明された。
本稿では,アルゴリズムの理論解析を行い,収束,近似,局所降下保証を示す。
論文 参考訳（メタデータ） (2023-05-30T14:20:51Z) - A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。
モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。
本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-29T07:41:11Z) - Basis Scaling and Double Pruning for Efficient Inference in
Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。
CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文 参考訳（メタデータ） (2021-08-06T00:04:02Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳（メタデータ） (2021-06-17T02:40:18Z) - MLPruning: A Multilevel Structured Pruning Framework for
Transformer-based Models [78.45898846056303]
プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。
我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
論文 参考訳（メタデータ） (2021-05-30T22:00:44Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。