論文の概要: Fast Convolution based on Winograd Minimum Filtering: Introduction and Development

• arxiv url: http://arxiv.org/abs/2111.00977v1
• Date: Mon, 1 Nov 2021 14:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 16:16:48.872619
• Title: Fast Convolution based on Winograd Minimum Filtering: Introduction and Development
• Title（参考訳）: winogradの最小フィルタリングに基づく高速畳み込み:導入と開発
• Authors: Gan Tong and Libo Huang
• Abstract要約: 畳み込み演算子は畳み込みニューラルネットワークの基本的な構成要素である。 近年、FFTやWinogradなどの高速な畳み込みアルゴリズムが提案されている。 本稿では,アルゴリズム拡張,アルゴリズム最適化,実装,アプリケーションという3つの側面から,Winograd畳み込みの開発を要約する。
• 参考スコア（独自算出の注目度）: 5.192451499848539
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Network (CNN) has been widely used in various fields and played an important role. Convolution operators are the fundamental component of convolutional neural networks, and it is also the most time-consuming part of network training and inference. In recent years, researchers have proposed several fast convolution algorithms including FFT and Winograd. Among them, Winograd convolution significantly reduces the multiplication operations in convolution, and it also takes up less memory space than FFT convolution. Therefore, Winograd convolution has quickly become the first choice for fast convolution implementation within a few years. At present, there is no systematic summary of the convolution algorithm. This article aims to fill this gap and provide detailed references for follow-up researchers. This article summarizes the development of Winograd convolution from the three aspects of algorithm expansion, algorithm optimization, implementation, and application, and finally makes a simple outlook on the possible future directions.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は様々な分野で広く使われており、重要な役割を果たしている。 畳み込み演算子は畳み込みニューラルネットワークの基本的なコンポーネントであり、ネットワークトレーニングと推論の最も時間を要する部分でもある。 近年、FFTやWinogradなどの高速な畳み込みアルゴリズムが提案されている。 このうち、ウィノグラードの畳み込みは畳み込みにおける乗算演算を著しく減少させ、FFT畳み込みよりもメモリ空間を小さくする。 したがって、ウィノグラード畳み込みは数年のうちに高速畳み込み実装の最初の選択肢となった。 現在、畳み込みアルゴリズムの体系的な概要は存在しない。 本稿は、このギャップを埋め、フォローアップ研究者に詳細なリファレンスを提供することを目的としている。 本稿では,アルゴリズム拡張,アルゴリズム最適化,実装,アプリケーションという3つの側面からウィノグラード畳み込みの開発を要約し,最終的に将来的な方向性について簡単な展望を述べる。

関連論文リスト

• Image Reconstruction for Accelerated MR Scan with Faster Fourier Convolutional Neural Networks [87.87578529398019]
  部分走査は、磁気共鳴イメージング(MRI)データ取得を2次元および3次元の両方で加速する一般的な手法である。 本稿では,Faster Fourier Convolution (FasterFC) と呼ばれる新しい畳み込み演算子を提案する。 2次元加速MRI法であるFasterFC-End-to-End-VarNetは、FasterFCを用いて感度マップと再構成品質を改善する。 k空間領域再構成を誘導する単一グループアルゴリズムを用いたFasterFC-based Single-to-group Network (FAS-Net) と呼ばれる3次元加速MRI法
  論文  参考訳（メタデータ） (2023-06-05T13:53:57Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Involution: Inverting the Inherence of Convolution for Visual Recognition [72.88582255910835]
  本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。 提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。 当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
  論文  参考訳（メタデータ） (2021-03-10T18:40:46Z)
• Accelerating Large Kernel Convolutions with Nested Winograd Transformation.pdf [2.193040410545991]
  この研究は、大きなカーネルの畳み込みを小さなカーネルの畳み込みに繰り返し分解するネスト付きウィノグラードアルゴリズムを提案する。 実験により、線形分解ウィノグラード法と比較して、4x4から31x31の畳み込みを計算するために、提案アルゴリズムは乗算の総数を1.4倍から10.5倍に減らした。
  論文  参考訳（メタデータ） (2021-02-26T02:42:42Z)
• Efficient Residue Number System Based Winograd Convolution [15.210764522845416]
  Winogradアルゴリズムは、浮動小数点で表現される重みとアクティベーションを持つ畳み込みニューラルネットワーク(CNN)の計算複雑性を低減することができる。 我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。 最小の複雑性畳み込みは、大きな変換タイル上で正確に計算される。
  論文  参考訳（メタデータ） (2020-07-23T19:07:06Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base [0.0]
  ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。 量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-23T11:15:27Z)
• LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
  我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
  論文  参考訳（メタデータ） (2020-03-19T09:46:50Z)
• DWM: A Decomposable Winograd Method for Convolution Acceleration [29.312042061351782]
  Winogradの最小フィルタリングアルゴリズムは畳み込みニューラルネットワーク(CNN)において、高速な処理のための乗算数を減らすために広く使われている。 3x3より大きいカーネルサイズのFLOPと数値精度の問題に悩まされ、1より大きいストライドとの畳み込みに失敗する。 本稿では,従来のWinogradの最小フィルタリングアルゴリズムを広義かつ汎用的な畳み込みに制限することで,DWM(Decomposable Winograd Method)を提案する。
  論文  参考訳（メタデータ） (2020-02-03T03:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。