論文の概要: Phasor-Driven Acceleration for FFT-based CNNs

• arxiv url: http://arxiv.org/abs/2406.00290v1
• Date: Sat, 1 Jun 2024 03:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:44:24.608639
• Title: Phasor-Driven Acceleration for FFT-based CNNs
• Title（参考訳）: FFTベースCNNのファザード駆動高速化
• Authors: Eduardo Reis, Thangarajah Akilan, Mohammed Khalid,
• Abstract要約: より効率的なアプローチとして,複素数の極性表現であるファサー形式(phasor form)を提案する。 本手法は,トレーニング中に最大1.376(平均1.316),推論時に最大1.390(平均1.321)の速度向上を実現する。
• 参考スコア（独自算出の注目度）: 2.3636539018632616
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent research in deep learning (DL) has investigated the use of the Fast Fourier Transform (FFT) to accelerate the computations involved in Convolutional Neural Networks (CNNs) by replacing spatial convolution with element-wise multiplications on the spectral domain. These approaches mainly rely on the FFT to reduce the number of operations, which can be further decreased by adopting the Real-Valued FFT. In this paper, we propose using the phasor form, a polar representation of complex numbers, as a more efficient alternative to the traditional approach. The experimental results, evaluated on the CIFAR-10, demonstrate that our method achieves superior speed improvements of up to a factor of 1.376 (average of 1.316) during training and up to 1.390 (average of 1.321) during inference when compared to the traditional rectangular form employed in modern CNN architectures. Similarly, when evaluated on the CIFAR-100, our method achieves superior speed improvements of up to a factor of 1.375 (average of 1.299) during training and up to 1.387 (average of 1.300) during inference. Most importantly, given the modular aspect of our approach, the proposed method can be applied to any existing convolution-based DL model without design changes.
• Abstract（参考訳）: 深層学習(DL)における最近の研究は、空間畳み込みをスペクトル領域上の要素ワイド乗算に置き換えることで、畳み込みニューラルネットワーク(CNN)に関わる計算を高速化するために、FFT(Fast Fourier Transform)を用いて研究している。 これらのアプローチは主にFFTに依存して演算数を削減し、実値FFTを採用することでさらに削減することができる。 本稿では,従来の手法の代替として,複素数の極性表現であるファサー形式(phasor form)を提案する。 CIFAR-10を用いて評価した結果, 従来のCNNアーキテクチャと比較すると, トレーニング時の最大1.376(平均1.316), 推論時の最大1.390(平均1.321)の高速化が得られた。 同様に、CIFAR-100で評価すると、トレーニング中に最大1.375(平均1.299)、推論時に最大1.387(平均1.300)の速度向上が達成される。 最も重要なことは、我々のアプローチのモジュラーな側面を考えると、提案手法は設計変更なしに既存の畳み込みベースのDLモデルに適用できるということである。

関連論文リスト

• PredFormer: Transformers Are Effective Spatial-Temporal Predictive Learners [65.93130697098658]
  本稿では、予測学習のための純粋なトランスフォーマーベースのフレームワークであるPredFormerを提案する。 PredFormerは、リカレントフリーでトランスフォーマーベースの設計で、シンプルかつ効率的である。 合成および実世界のデータセットに関する実験は、PredFormerが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-07T03:52:06Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
  本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
  論文  参考訳（メタデータ） (2024-03-06T05:13:28Z)
• Image Reconstruction for Accelerated MR Scan with Faster Fourier Convolutional Neural Networks [87.87578529398019]
  部分走査は、磁気共鳴イメージング(MRI)データ取得を2次元および3次元の両方で加速する一般的な手法である。 本稿では,Faster Fourier Convolution (FasterFC) と呼ばれる新しい畳み込み演算子を提案する。 2次元加速MRI法であるFasterFC-End-to-End-VarNetは、FasterFCを用いて感度マップと再構成品質を改善する。 k空間領域再構成を誘導する単一グループアルゴリズムを用いたFasterFC-based Single-to-group Network (FAS-Net) と呼ばれる3次元加速MRI法
  論文  参考訳（メタデータ） (2023-06-05T13:53:57Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Implicit Optimizer for Diffeomorphic Image Registration [3.1970342304563037]
  本稿では,Diffomorphic Image Registration (IDIR) の高速かつ正確なインプシットを提案する。 提案手法を2つの大規模MR脳スキャンデータセットで評価し,提案手法が従来の画像登録手法よりも高速かつ優れた登録結果を提供することを示した。
  論文  参考訳（メタデータ） (2022-02-25T05:04:29Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Depthwise Spatio-Temporal STFT Convolutional Neural Networks for Human Action Recognition [42.400429835080416]
  従来の3D畳み込みニューラルネットワーク(CNN)は計算コストが高く、メモリ集約性があり、過度に適合する傾向がある。 本稿では,3次元CNNにおける3次元畳み込み層の代替として機能する新しい畳み込みブロックのクラスを提案する。 Some-something v1, v2, Jester, Diving Kinetics-400, UCF 101, HMDB 51を含む7つの行動認識データセットについて,STFTブロックをベースとした3D CNNが,現状と比較して同等以上の性能で達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-22T12:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。