論文の概要: LayerCollapse: Adaptive compression of neural networks
- arxiv url: http://arxiv.org/abs/2311.17943v2
- Date: Thu, 8 Feb 2024 20:28:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 19:53:24.651597
- Title: LayerCollapse: Adaptive compression of neural networks
- Title（参考訳）: layercollapse:ニューラルネットワークの適応圧縮
- Authors: Soheil Zibakhsh Shabgahi, Mohammad Sohail Shariff, Farinaz Koushanfar
- Abstract要約: 我々は、完全に連結された層の深さを減らすために、構造化プルーニングの一形態であるLayerCollapseを提案する。
我々は,性能に制限があるながら,微調整を伴わずに圧縮を後処理できる新しいレギュラーライザを開発した。
- 参考スコア（独自算出の注目度）: 15.248788216228842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Handling the ever-increasing scale of contemporary deep learning and
transformer-based models poses a significant challenge. Overparameterized
Transformer networks outperform prior art in Natural Language processing and
Computer Vision. These models contain hundreds of millions of parameters,
demanding significant computational resources and making them prone to
overfitting. In this work we present LayerCollapse, a form of structured
pruning to reduce the depth of fully connected layers. We develop a novel
regularizer allowing for post-training compression without finetuning, while
having limited impact on performance. LayerCollapse controls model
expressiveness with regularization on the activations between fully connected
layers, modulating the linearity of activation functions. A linear activation
function reduces the rank of the transformation to the rank of the
corresponding linear transformation. We demonstrate the effectiveness of
LayerCollapse by showing its compression capabilities in sentimental analysis
and image classification benchmarks. Moreover we show LayerCollapse is an
effective compression aware regularization method in a language modeling
benchmark.
- Abstract（参考訳）: 現代のディープラーニングとトランスフォーマーベースのモデルの増大するスケールを扱うことは、大きな課題となる。
過剰パラメータのトランスフォーマーネットワークは、自然言語処理やコンピュータビジョンの先行技術よりも優れている。
これらのモデルには数億のパラメータが含まれており、重要な計算資源を必要とし、過剰に適合しやすい。
本研究では,完全連結層の深さを減少させる構造的プルーニングであるlayercollapseを提案する。
我々は,性能に制限があるながら,微調整を伴わずに圧縮を後処理できる新しい正規化器を開発した。
LayerCollapseは、完全に連結された層間のアクティベーションを正規化して、アクティベーション関数の線形性を調整する。
線形活性化関数は、対応する線形変換のランクへの変換のランクを減少させる。
本稿では,感情分析および画像分類ベンチマークにおいて,その圧縮能力を示すことによって,LayerCollapseの有効性を示す。
また,LayerCollapseは言語モデリングベンチマークにおいて,効果的な圧縮認識正規化手法であることを示す。
関連論文リスト
- Research on Personalized Compression Algorithm for Pre-trained Models Based on Homomorphic Entropy Increase [2.6513322539118582]
我々は、現在のAI分野における2つの重要な技術の課題と進化を探求する:ビジョントランスフォーマーモデルと大規模言語モデル(LLM)。
Vision Transformerは、イメージを小さな断片に分割することで、グローバルな情報をキャプチャするが、その高い参照数とモバイル機器へのオーバヘッド制限の配置を計算する。
LLMは自然言語処理に革命をもたらしたが、デプロイメントの課題にも直面している。
論文 参考訳（メタデータ） (2024-08-16T11:56:49Z) - LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging [20.774060844559838]
既存の深度圧縮法では、冗長な非線形活性化関数を除去し、連続する畳み込み層を単一の層にマージする。
これらの手法は、マージされたレイヤのカーネルサイズが大きくなるという重大な欠点に悩まされる。
畳み込み層とアクティベーション関数を併用することにより,この問題に対処できることを示す。
本稿では,どのアクティベーション層と畳み込み層を除去するかを選択するディープ圧縮手法であるLayerMergeを提案する。
論文 参考訳（メタデータ） (2024-06-18T17:55:15Z) - Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。
成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。
本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
論文 参考訳（メタデータ） (2024-06-10T11:00:26Z) - Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。
具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。
さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
論文 参考訳（メタデータ） (2024-03-30T08:05:00Z) - Efficient Compression of Overparameterized Deep Models through
Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。
本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文 参考訳（メタデータ） (2023-11-08T23:57:03Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-07-13T11:12:03Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。
この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。
これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
論文 参考訳（メタデータ） (2021-06-21T03:04:51Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳（メタデータ） (2021-05-15T11:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。