論文の概要: Acceleration of Convolutional Neural Network Using FFT-Based Split Convolutions

• arxiv url: http://arxiv.org/abs/2003.12621v2
• Date: Fri, 3 Apr 2020 21:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 04:45:40.524421
• Title: Acceleration of Convolutional Neural Network Using FFT-Based Split Convolutions
• Title（参考訳）: FFTに基づく分割畳み込みを用いた畳み込みニューラルネットワークの高速化
• Authors: Kamran Chitsaz, Mohsen Hajabdollahi, Nader Karimi, Shadrokh Samavi, Shahram Shirani
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は多数の変数を持つため、実装の複雑さに悩まされる。 高速フーリエ変換(FFT)に基づくCNNの最近の研究は、FFTに必要な計算を単純化することを目的としている。 本稿では,入力分割に基づくFFT領域における新しいCNN処理法を提案する。
• 参考スコア（独自算出の注目度）: 11.031841470875571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have a large number of variables and hence suffer from a complexity problem for their implementation. Different methods and techniques have developed to alleviate the problem of CNN's complexity, such as quantization, pruning, etc. Among the different simplification methods, computation in the Fourier domain is regarded as a new paradigm for the acceleration of CNNs. Recent studies on Fast Fourier Transform (FFT) based CNN aiming at simplifying the computations required for FFT. However, there is a lot of space for working on the reduction of the computational complexity of FFT. In this paper, a new method for CNN processing in the FFT domain is proposed, which is based on input splitting. There are problems in the computation of FFT using small kernels in situations such as CNN. Splitting can be considered as an effective solution for such issues aroused by small kernels. Using splitting redundancy, such as overlap-and-add, is reduced and, efficiency is increased. Hardware implementation of the proposed FFT method, as well as different analyses of the complexity, are performed to demonstrate the proper performance of the proposed method.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(convolutional neural network, cnns)は、多くの変数を持ち、それゆえ、その実装の複雑さに苦しむ。 量子化やプルーニングなど,CNNの複雑性の問題を軽減するために,さまざまな方法やテクニックが開発されている。 異なる単純化手法のうち、フーリエ領域での計算はcnnの高速化のための新しいパラダイムと見なされている。 高速フーリエ変換(FFT)に基づくFFTに必要な計算の簡素化を目的としたCNNの最近の研究 しかし、FFTの計算複雑性の低減に取り組むには多くのスペースがある。 本稿では,入力分割に基づくfftドメインにおけるcnn処理の新しい手法を提案する。 CNNのような状況下では、小さなカーネルを使用したFFTの計算に問題がある。 分割は、小さなカーネルによって引き起こされるような問題に対する効果的な解決策と考えることができる。 オーバーラップ・アンド・アタッチメントなどの分割冗長性を低減し、効率を向上する。 提案手法の適正な性能を示すために,提案手法のハードウェア実装と複雑さの異なる解析を行った。

関連論文リスト

• Multilevel CNNs for Parametric PDEs based on Adaptive Finite Elements [0.0]
  高次元パラメータ依存偏微分方程式の多値性を利用するニューラルネットワークアーキテクチャが提案されている。 ネットワークは適応的に洗練された有限要素メッシュのデータで訓練される。 適応型マルチレベルスキームに対して完全収束と複雑性解析を行う。
  論文  参考訳（メタデータ） (2024-08-20T13:32:11Z)
• Domain Agnostic Fourier Neural Operators [15.29112632863168]
  本研究では,不規則なジオメトリと進化するドメインを持つサロゲートを学習するために,ドメインに依存しないフーリエニューラル演算子(DAFNO)を導入する。 鍵となる考え方は、FNOの積分層アーキテクチャに滑らかな特性関数を組み込むことである。 DAFNOはベースラインニューラル演算子モデルと比較して最先端の精度を達成した。
  論文  参考訳（メタデータ） (2023-04-30T13:29:06Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Multi-objective Evolutionary Approach for Efficient Kernel Size and Shape for CNN [12.697368516837718]
  VGGNetやResNetのようなCNNトポロジにおける最先端の開発は、ますます正確になっている。 これらのネットワークは数十億の演算とパラメータを含む計算コストが高い。 本稿では,畳み込み層におけるカーネルのサイズと数を削減することにより,計算資源の消費を最適化することを検討する。
  論文  参考訳（メタデータ） (2021-06-28T14:47:29Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Fast Partial Fourier Transform [28.36925669222461]
  高速フーリエ変換(FFT)は、多くの機械学習アプリケーションにおいて離散フーリエ変換を計算するアルゴリズムである。 広く使われているにもかかわらず、既知の全てのFFTアルゴリズムは、ユーザの要求を指定するための微調整オプションを提供していない。 本稿では,係数を計算すべき任意の連続範囲を指定可能な高速部分フーリエ変換(PFT)を提案する。
  論文  参考訳（メタデータ） (2020-08-28T10:01:49Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。