論文の概要: Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers

• arxiv url: http://arxiv.org/abs/2412.15077v1
• Date: Thu, 19 Dec 2024 17:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:50.041914
• Title: Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
• Title（参考訳）: 層崩壊のタイミング:バッチ正規化層のレンズを通してディープニューラルネットワークを圧縮する
• Authors: Zhu Liao, Nour Hezbri, Victor Quétu, Van-Tam Nguyen, Enzo Tartaglione,
• Abstract要約: textbfLayers textbfCollapse (TLC) と呼ばれる手法を導入し、バッチ正規化層のレンズを通してディープニューラルネットワークを圧縮する。 我々は,画像分類と自然言語処理(NLP)タスクの両面で,Swin-T,MobileNet-V2,RoBERTaなどの人気モデル上で本手法の有効性を検証する。
• 参考スコア（独自算出の注目度）: 5.008189006630566
• License:
• Abstract: Today, deep neural networks are widely used since they can handle a variety of complex tasks. Their generality makes them very powerful tools in modern technology. However, deep neural networks are often overparameterized. The usage of these large models consumes a lot of computation resources. In this paper, we introduce a method called \textbf{T}ill the \textbf{L}ayers \textbf{C}ollapse (TLC), which compresses deep neural networks through the lenses of batch normalization layers. By reducing the depth of these networks, our method decreases deep neural networks' computational requirements and overall latency. We validate our method on popular models such as Swin-T, MobileNet-V2, and RoBERTa, across both image classification and natural language processing (NLP) tasks.
• Abstract（参考訳）: 現在、ディープニューラルネットワークは様々な複雑なタスクを処理できるため、広く使われている。 彼らの汎用性は、現代の技術において非常に強力なツールを生み出します。 しかし、ディープニューラルネットワークはしばしば過パラメータ化される。 これらの大きなモデルの使用は、多くの計算資源を消費します。 本稿では,バッチ正規化層のレンズを通して深部ニューラルネットワークを圧縮する,‘textbf{T}ill the \textbf{L}ayers \textbf{C}ollapse (TLC) 法を提案する。 これらのネットワークの深さを減らすことで、ディープニューラルネットワークの計算要求と全体的なレイテンシを低減することができる。 我々は,画像分類と自然言語処理(NLP)タスクの両面で,Swin-T,MobileNet-V2,RoBERTaなどの人気モデルの検証を行った。

関連論文リスト

• NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
  深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。 我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-04-24T09:12:04Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Tensor Decomposition for Model Reduction in Neural Networks: A Review [13.96938227911258]
  現代のニューラルネットワークはコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした 複雑なCVタスクや画像分類、画像生成、機械翻訳といったNLPタスクの解決に広く用いられている。 本稿では,6つのテンソル分解法を概説し,モデルパラメータの圧縮能力について述べる。
  論文  参考訳（メタデータ） (2023-04-26T13:12:00Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
  現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。 線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。 我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
  論文  参考訳（メタデータ） (2021-06-17T08:22:46Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• An Overview of Neural Network Compression [2.550900579709111]
  近年、モデル圧縮技術、特に深層畳み込みニューラルネットワークやTransformerのような自己注意型ネットワークの復活が進んでいる。 本稿では, プルーニング, 量子化, テンソル分解, 知識蒸留, それらの組み合わせを含む, ディープニューラルネットワークの古い圧縮技術と現在の圧縮技術について, タイムリーに概説する。
  論文  参考訳（メタデータ） (2020-06-05T20:28:56Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。