Fugu-MT 論文翻訳(概要): Low-Rank Winograd Transformation for 3D Convolutional Neural Networks

論文の概要: Low-Rank Winograd Transformation for 3D Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2301.11180v1
Date: Thu, 26 Jan 2023 15:44:22 GMT
ステータス: 処理完了
システム内更新日: 2023-01-27 13:15:57.198960
Title: Low-Rank Winograd Transformation for 3D Convolutional Neural Networks
Title（参考訳）: 3次元畳み込みニューラルネットワークにおける低ランクウィノグラード変換
Authors: Ziran Qin, Mingbao Lin, Weiyao Lin
Abstract要約: 本稿では,3次元畳み込みニューラルネットワーク(CNN)におけるWinograd変換について述べる。低ランクなウィノグラード変換は、元の大きなテンソルをより少ない2つのトレーニング可能なテンソルに分解する新しい訓練パラダイムである。提案した低ランク配向スパース粒度は,バニラに比べて実用的なウィノグラード加速を可能にすることを示す。
参考スコア（独自算出の注目度）: 25.236436823266203
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper focuses on Winograd transformation in 3D convolutional neural networks (CNNs) that are more over-parameterized compared with the 2D version. The over-increasing Winograd parameters not only exacerbate training complexity but also barricade the practical speedups due simply to the volume of element-wise products in the Winograd domain. We attempt to reduce trainable parameters by introducing a low-rank Winograd transformation, a novel training paradigm that decouples the original large tensor into two less storage-required trainable tensors, leading to a significant complexity reduction. Built upon our low-rank Winograd transformation, we take one step ahead by proposing a low-rank oriented sparse granularity that measures column-wise parameter importance. By simply involving the non-zero columns in the element-wise product, our sparse granularity is empowered with the ability to produce a very regular sparse pattern to acquire effectual Winograd speedups. To better understand the efficacy of our method, we perform extensive experiments on 3D CNNs. Results manifest that our low-rank Winograd transformation well outperforms the vanilla Winograd transformation. We also show that our proposed low-rank oriented sparse granularity permits practical Winograd acceleration compared with the vanilla counterpart.
Abstract（参考訳）: 本稿では,3次元畳み込みニューラルネットワーク(CNN)におけるWinograd変換について述べる。過度に増加するウィノグラードパラメータは、トレーニングの複雑さを悪化させるだけでなく、ウィノグラードドメインの要素単位積の量によって、実際のスピードアップを妨げている。低ランクなウィノグラード変換を導入することで、トレーニング可能なパラメータを減らそうとしている。これは、元の大きなテンソルを2つのより少ないストレージ要求のトレーニング可能なテンソルに分解する新しいトレーニングパラダイムで、複雑さを著しく減少させる。低ランクなウィノグラード変換に基づいて、列のパラメータの重要性を測る低ランク指向のスパース粒度を提案する。非零列を要素単位の積に含めるだけで、我々のスパース粒度は、実効的なウィノグラードスピードアップを得るために非常に規則的なスパースパターンを生成することができる。本手法の有効性をよりよく理解するために,3次元cnnを用いた広範囲な実験を行った。その結果、我々の低ランクなウィノグラード変換はバニラ・ウィノグラード変換よりも優れていた。また,提案した低ランク配向スパース粒度は,バニラに比べて実用的なウィノグラード加速を可能にすることを示した。

関連論文リスト

Exploring Winograd Convolution for Cost-effective Neural Network Fault Tolerance [14.588891723027892]
ウィノグラードの畳み込みは、標準の畳み込みよりも正確さを失うことなく、平均して55.77%の耐故障設計オーバーヘッドを減らすことができる。フォールト・アウェア・リトレーニングと制約付きアクティベーション関数によって強化されたフォールト・トレラントニューラルネットワークに適用した場合、モデル精度は一般的に、様々な障害の存在において顕著に改善されている。
論文参考訳（メタデータ） (2023-08-16T09:03:13Z)
Fourier-Net+: Leveraging Band-Limited Representation for Efficient 3D Medical Image Registration [62.53130123397081]
U-Netスタイルのネットワークは、高密度変位場を予測するために、教師なし画像登録に一般的に利用される。まず,コストのかかるU-Netスタイルの拡張パスをパラメータフリーモデル駆動デコーダに置き換えるFourier-Netを提案する。次に、Fourier-Net+を導入し、さらに画像の帯域制限空間表現を入力とし、U-Netスタイルのネットワークの収縮経路における畳み込み層の数を減少させる。
論文参考訳（メタデータ） (2023-07-06T13:57:12Z)
Rethinking Hierarchicies in Pre-trained Plain Vision Transformer [76.35955924137986]
マスク付き画像モデリング(MIM)による自己教師付き事前学習型視覚変換器(ViT)は非常に効果的であることが証明されている。カスタマイズされたアルゴリズムは、平易なViTのためにバニラと単純なMAEを使用する代わりに、例えばGreenMIMのような階層的なViTのために慎重に設計されるべきである。本稿では,自己指導型事前学習から階層型アーキテクチャ設計を遠ざける新しいアイデアを提案する。
論文参考訳（メタデータ） (2022-11-03T13:19:23Z)
GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
論文参考訳（メタデータ） (2022-03-22T17:06:07Z)
Orthogonal Graph Neural Networks [53.466187667936026]
グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
論文参考訳（メタデータ） (2021-09-23T12:39:01Z)
Winograd Algorithm for AdderNet [54.93995545896655]
Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
論文参考訳（メタデータ） (2021-05-12T09:13:34Z)
Accelerating Large Kernel Convolutions with Nested Winograd Transformation.pdf [2.193040410545991]
この研究は、大きなカーネルの畳み込みを小さなカーネルの畳み込みに繰り返し分解するネスト付きウィノグラードアルゴリズムを提案する。実験により、線形分解ウィノグラード法と比較して、4x4から31x31の畳み込みを計算するために、提案アルゴリズムは乗算の総数を1.4倍から10.5倍に減らした。
論文参考訳（メタデータ） (2021-02-26T02:42:42Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
論文参考訳（メタデータ） (2020-03-19T09:46:50Z)
Searching for Winograd-aware Quantized Networks [12.351250944079949]
我々は、ウィノグラード変換によって導入された数値的不正確さを明らかにする畳み込み層のウィノグラード対応の定式化を提案する。また, 数値誤差の原因にも対処し, 変換行列の形状を緩和し, CIFAR-10の分類精度を最大10%向上させる手法を提案する。
論文参考訳（メタデータ） (2020-02-25T07:53:53Z)
DWM: A Decomposable Winograd Method for Convolution Acceleration [29.312042061351782]
Winogradの最小フィルタリングアルゴリズムは畳み込みニューラルネットワーク(CNN)において、高速な処理のための乗算数を減らすために広く使われている。 3x3より大きいカーネルサイズのFLOPと数値精度の問題に悩まされ、1より大きいストライドとの畳み込みに失敗する。本稿では,従来のWinogradの最小フィルタリングアルゴリズムを広義かつ汎用的な畳み込みに制限することで,DWM(Decomposable Winograd Method)を提案する。
論文参考訳（メタデータ） (2020-02-03T03:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。