論文の概要: Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2201.02711v1
- Date: Fri, 7 Jan 2022 23:52:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 10:08:52.185642
- Title: Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural
Networks
- Title（参考訳）: ディープニューラルネットワークにおけるブロックウォルシュ・アダマール変換に基づくバイナリ層
- Authors: Hongyi Pan, Diaa Badawi, Ahmet Enis Cetin
- Abstract要約: 畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。
フーリエ変換の代わりに二進ブロックウォルシュ・アダマール変換(WHT)を提案する。
我々はWHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
- 参考スコア（独自算出の注目度）: 7.906608953906891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolution has been the core operation of modern deep neural networks. It is
well-known that convolutions can be implemented in the Fourier Transform
domain. In this paper, we propose to use binary block Walsh-Hadamard transform
(WHT) instead of the Fourier transform. We use WHT-based binary layers to
replace some of the regular convolution layers in deep neural networks. We
utilize both one-dimensional (1-D) and two-dimensional (2-D) binary WHTs in
this paper. In both 1-D and 2-D layers, we compute the binary WHT of the input
feature map and denoise the WHT domain coefficients using a nonlinearity which
is obtained by combining soft-thresholding with the tanh function. After
denoising, we compute the inverse WHT. We use 1D-WHT to replace the $1\times 1$
convolutional layers, and 2D-WHT layers can replace the 3$\times$3 convolution
layers and Squeeze-and-Excite layers. 2D-WHT layers with trainable weights can
be also inserted before the Global Average Pooling (GAP) layers to assist the
dense layers. In this way, we can reduce the number of trainable parameters
significantly with a slight decrease in trainable parameters. In this paper, we
implement the WHT layers into MobileNet-V2, MobileNet-V3-Large, and ResNet to
reduce the number of parameters significantly with negligible accuracy loss.
Moreover, according to our speed test, the 2D-FWHT layer runs about 24 times as
fast as the regular $3\times 3$ convolution with 19.51\% less RAM usage in an
NVIDIA Jetson Nano experiment.
- Abstract（参考訳）: 畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。
畳み込みがフーリエ変換領域に実装できることはよく知られている。
本稿では,フーリエ変換の代わりに二元ブロックウォルシュ・ハダマード変換(wht)を用いることを提案する。
WHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
本稿では, 1次元 (1-D) と 2次元 (2-D) の2次元 WHT を併用する。
1-d層と2-d層の両方において、入力特徴写像の2値whtを計算し、ソフトスレッショルドとtanh関数を組み合わせた非線形性を用いてwht領域係数を除算する。
消音後、逆whtを計算します。
1d-wht は 1\times 1$ 畳み込み層を置き換え、2d-wht 層は 3$\times$3 畳み込み層と押し出し層を置き換えることができる。
トレーニング可能な重量を持つ2D-WHT層は、Global Average Pooling (GAP)層の前に挿入して、密度の高い層を支援することもできる。
これにより、トレーニング可能なパラメータをわずかに減らして、トレーニング可能なパラメータの数を大幅に削減することができる。
本稿では,WHT層をMobileNet-V2,MobileNet-V3-Large,ResNetに実装し,パラメータ数を大幅に削減する。
さらに、我々の速度テストによると、2D-FWHT層は、NVIDIA Jetson Nano実験において、通常の3ドルの3$畳み込みと19.51\%のRAM使用率で約24倍の速度で動作している。
関連論文リスト
- FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Kolmogorov-Arnold Transformer [72.88137795439407]
Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。
C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。
これらの設計により、KATは従来のトランスフォーマーよりも優れている。
論文 参考訳（メタデータ） (2024-09-16T17:54:51Z) - A Hybrid Quantum-Classical Approach based on the Hadamard Transform for
the Convolutional Layer [3.316567107326828]
本稿では,ハイブリッド量子古典計算のための新しいアダマール変換に基づくニューラルネットワーク層を提案する。
この考えは HT の畳み込み定理に基づいており、2つのベクトル間の二進畳み込みは HT 表現の要素ワイド乗法と等価である。
論文 参考訳（メタデータ） (2023-05-27T16:11:48Z) - Multichannel Orthogonal Transform-Based Perceptron Layers for Efficient ResNets [2.829818195105779]
我々は、CNNの3ドル3ドルのConv2Dの代替として、変換ベースのニューラルネットワーク層を提案する。
提案した層は、離散コサイン変換(DCT)、アダマール変換(HT)、生物直交ブロックウェーブレット変換(BWT)などの変換に基づいて実装することができる。
論文 参考訳（メタデータ） (2023-03-13T01:07:32Z) - DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer [3.506018346865459]
我々はDCT-perceptronと呼ぶ新しい離散コサイン変換(DCT)ベースのニューラルネットワーク層を提案する。
畳み込みフィルタリング操作はDCT領域で要素ワイド乗算を用いて実行される。
DCT-パーセプトロン層はパラメータの数と乗算を著しく削減する。
論文 参考訳（メタデータ） (2022-11-15T23:44:56Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳（メタデータ） (2022-07-18T06:01:29Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳（メタデータ） (2021-07-12T18:46:34Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z) - Fast Walsh-Hadamard Transform and Smooth-Thresholding Based Binary
Layers in Deep Neural Networks [0.0]
本研究では,WHT(Fast Walsh-Hadamard transform)とスムーススホールディングに基づく層を提案し,深層ニューラルネットワークにおける1回1$の畳み込み層を置き換える。
これら2種類のレイヤを使用して、MobileNet-V2のボトルネック層を置き換え、ネットワークのパラメータ数をわずかに減らし、精度を低下させます。
論文 参考訳（メタデータ） (2021-04-14T19:23:36Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z) - Depthwise-STFT based separable Convolutional Neural Networks [35.636461829966095]
我々はDepthwise-STFT Separable Layerと呼ばれる新しい畳み込み層を提案する。
標準の奥行き分離可能な畳み込み層に代わるものとして機能する。
提案手法は,CIFAR-10とCIFAR-100の画像分類データセットにおいて,標準の奥行き分離可能な層ベースモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-27T17:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。