論文の概要: Fast Walsh-Hadamard Transform and Smooth-Thresholding Based Binary
Layers in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2104.07085v1
- Date: Wed, 14 Apr 2021 19:23:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 14:49:34.380712
- Title: Fast Walsh-Hadamard Transform and Smooth-Thresholding Based Binary
Layers in Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおける高速walsh-hadamard変換とスムースthresholdingに基づくバイナリ層
- Authors: Hongyi Pan, Diaa Dabawi and Ahmet Enis Cetin
- Abstract要約: 本研究では,WHT(Fast Walsh-Hadamard transform)とスムーススホールディングに基づく層を提案し,深層ニューラルネットワークにおける1回1$の畳み込み層を置き換える。
これら2種類のレイヤを使用して、MobileNet-V2のボトルネック層を置き換え、ネットワークのパラメータ数をわずかに減らし、精度を低下させます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel layer based on fast Walsh-Hadamard
transform (WHT) and smooth-thresholding to replace $1\times 1$ convolution
layers in deep neural networks. In the WHT domain, we denoise the transform
domain coefficients using the new smooth-thresholding non-linearity, a smoothed
version of the well-known soft-thresholding operator. We also introduce a
family of multiplication-free operators from the basic 2$\times$2 Hadamard
transform to implement $3\times 3$ depthwise separable convolution layers.
Using these two types of layers, we replace the bottleneck layers in
MobileNet-V2 to reduce the network's number of parameters with a slight loss in
accuracy. For example, by replacing the final third bottleneck layers, we
reduce the number of parameters from 2.270M to 947K. This reduces the accuracy
from 95.21\% to 92.88\% on the CIFAR-10 dataset. Our approach significantly
improves the speed of data processing. The fast Walsh-Hadamard transform has a
computational complexity of $O(m\log_2 m)$. As a result, it is computationally
more efficient than the $1\times1$ convolution layer. The fast Walsh-Hadamard
layer processes a tensor in $\mathbb{R}^{10\times32\times32\times1024}$ about 2
times faster than $1\times1$ convolution layer on NVIDIA Jetson Nano computer
board.
- Abstract（参考訳）: 本稿では, 高速ウォルシュ・アダマール変換(WHT)とスムーズなスムーズスリーホールディングに基づく新しい層を提案し, ディープニューラルネットワークにおける1\times 1$畳み込み層を置き換える。
wht領域では、新しい滑らかなthresholding non-linearity(よく知られたソフトthresholding operatorの平滑化バージョン)を用いて変換領域係数を除算する。
また、基本的な2$\times$2 Hadamard変換から3$3$の分離可能な畳み込み層を実装する乗算自由作用素群も導入する。
これら2つのタイプのレイヤを使うことで、MobileNet-V2のボトルネックレイヤを置き換えることで、ネットワークのパラメータ数をわずかに削減できる。
例えば、最終3番目のボトルネック層を置き換えることで、パラメータの数を2.270mから947kに削減します。
これにより、CIFAR-10データセットの精度は95.21\%から92.88\%に低下する。
我々の手法はデータ処理の速度を大幅に改善する。
高速ウォルシュ・アダマール変換は計算複雑性が$O(m\log_2 m)$である。
その結果、計算効率は$1\times1$畳み込み層よりも向上した。
高速なWalsh-Hadamard層は、NVIDIA Jetson Nanoコンピュータボード上で、$\mathbb{R}^{10\times32\times1024}$1\times1$畳み込み層よりも約2倍高速なテンソルを処理している。
関連論文リスト
- ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration [8.829482765731022]
N:M$ sparsityは、ますます多くのアクセラレーターがサポートする新しいモデル圧縮メソッドである。
ELSA, Exploiting Layer-wise $N:M$ Sparsity for ViTsを提案する。
論文 参考訳（メタデータ） (2024-09-15T12:14:24Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z) - Kronecker-Factored Approximate Curvature for Modern Neural Network
Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている
重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。
グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文 参考訳（メタデータ） (2023-11-01T16:37:00Z) - Efficient Latency-Aware CNN Depth Compression via Two-Stage Dynamic
Programming [15.458305667190256]
本稿では,一般的な畳み込み操作を対象とする新しい深度圧縮アルゴリズムを提案する。
ImageNetのMobileNetV2-1.0では、0.11%の精度で1.41タイムのスピードアップを実現しています。
論文 参考訳（メタデータ） (2023-01-28T13:08:54Z) - Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural
Networks [7.906608953906891]
畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。
フーリエ変換の代わりに二進ブロックウォルシュ・アダマール変換(WHT)を提案する。
我々はWHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
論文 参考訳（メタデータ） (2022-01-07T23:52:41Z) - Spike time displacement based error backpropagation in convolutional
spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。
MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。
後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文 参考訳（メタデータ） (2021-08-31T05:18:59Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳（メタデータ） (2021-07-12T18:46:34Z) - 1$\times$N Block Pattern for Network Sparsity [90.43191747596491]
我々は,この制限を破るために,ブロック間隔パターン(ブロックプルーニング)を1時間で定義する新しい概念を提案する。
このパターンはMobileNet-V2の上位1の精度でフィルタプルーニングよりも約3.0%改善されている。
また、重み付けによるCortex-A7 CPUの56.04msの推論も得る。
論文 参考訳（メタデータ） (2021-05-31T05:50:33Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。