論文の概要: LayerCollapse: Adaptive compression of neural networks
- arxiv url: http://arxiv.org/abs/2311.17943v2
- Date: Thu, 8 Feb 2024 20:28:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 19:53:24.651597
- Title: LayerCollapse: Adaptive compression of neural networks
- Title(参考訳): layercollapse:ニューラルネットワークの適応圧縮
- Authors: Soheil Zibakhsh Shabgahi, Mohammad Sohail Shariff, Farinaz Koushanfar
- Abstract要約: 我々は、完全に連結された層の深さを減らすために、構造化プルーニングの一形態であるLayerCollapseを提案する。
我々は,性能に制限があるながら,微調整を伴わずに圧縮を後処理できる新しいレギュラーライザを開発した。
- 参考スコア(独自算出の注目度): 15.248788216228842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Handling the ever-increasing scale of contemporary deep learning and
transformer-based models poses a significant challenge. Overparameterized
Transformer networks outperform prior art in Natural Language processing and
Computer Vision. These models contain hundreds of millions of parameters,
demanding significant computational resources and making them prone to
overfitting. In this work we present LayerCollapse, a form of structured
pruning to reduce the depth of fully connected layers. We develop a novel
regularizer allowing for post-training compression without finetuning, while
having limited impact on performance. LayerCollapse controls model
expressiveness with regularization on the activations between fully connected
layers, modulating the linearity of activation functions. A linear activation
function reduces the rank of the transformation to the rank of the
corresponding linear transformation. We demonstrate the effectiveness of
LayerCollapse by showing its compression capabilities in sentimental analysis
and image classification benchmarks. Moreover we show LayerCollapse is an
effective compression aware regularization method in a language modeling
benchmark.
- Abstract(参考訳): 現代のディープラーニングとトランスフォーマーベースのモデルの増大するスケールを扱うことは、大きな課題となる。
過剰パラメータのトランスフォーマーネットワークは、自然言語処理やコンピュータビジョンの先行技術よりも優れている。
これらのモデルには数億のパラメータが含まれており、重要な計算資源を必要とし、過剰に適合しやすい。
本研究では,完全連結層の深さを減少させる構造的プルーニングであるlayercollapseを提案する。
我々は,性能に制限があるながら,微調整を伴わずに圧縮を後処理できる新しい正規化器を開発した。
LayerCollapseは、完全に連結された層間のアクティベーションを正規化して、アクティベーション関数の線形性を調整する。
線形活性化関数は、対応する線形変換のランクへの変換のランクを減少させる。
本稿では,感情分析および画像分類ベンチマークにおいて,その圧縮能力を示すことによって,LayerCollapseの有効性を示す。
また,LayerCollapseは言語モデリングベンチマークにおいて,効果的な圧縮認識正規化手法であることを示す。
関連論文リスト
- Efficient Compression of Overparameterized Deep Models through
Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。
本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文 参考訳(メタデータ) (2023-11-08T23:57:03Z) - Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。
最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。
我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文 参考訳(メタデータ) (2022-11-24T19:09:44Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-07-13T11:12:03Z) - Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。
勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。
自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-07-06T14:09:47Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Low-rank Tensor Decomposition for Compression of Convolutional Neural
Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。
圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。
ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文 参考訳(メタデータ) (2021-12-07T13:41:51Z) - Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。
この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。
これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
論文 参考訳(メタデータ) (2021-06-21T03:04:51Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳(メタデータ) (2021-05-15T11:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。