Fugu-MT 論文翻訳(概要): Winograd Convolution: A Perspective from Fault Tolerance

論文の概要: Winograd Convolution: A Perspective from Fault Tolerance

arxiv url: http://arxiv.org/abs/2202.08675v1
Date: Thu, 17 Feb 2022 14:19:55 GMT
ステータス: 処理完了
システム内更新日: 2022-02-18 19:14:27.241792
Title: Winograd Convolution: A Perspective from Fault Tolerance
Title（参考訳）: Winograd Convolution: フォールトトレランスの観点から
Authors: Xinghua Xue, Haitong Huang, Cheng Liu, Ying Wang, Tao Luo, Lei Zhang
Abstract要約: Winograd Convolutionは、ニューラルネットワーク(NN)の乗算を線形変換によって加算することで、計算オーバーヘッドを削減するために提案された。我々は,NN耐障害性の向上に大きな可能性を示し,その耐障害性を初めて評価した。
参考スコア（独自算出の注目度）: 11.626169868836955
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Winograd convolution is originally proposed to reduce the computing overhead by converting multiplication in neural network (NN) with addition via linear transformation. Other than the computing efficiency, we observe its great potential in improving NN fault tolerance and evaluate its fault tolerance comprehensively for the first time. Then, we explore the use of fault tolerance of winograd convolution for either fault-tolerant or energy-efficient NN processing. According to our experiments, winograd convolution can be utilized to reduce fault-tolerant design overhead by 27.49\% or energy consumption by 7.19\% without any accuracy loss compared to that without being aware of the fault tolerance
Abstract（参考訳）: Winograd Convolutionは、ニューラルネットワーク(NN)の乗算を線形変換によって加算することで、計算オーバーヘッドを削減するために提案された。計算効率以外では,NNの耐障害性向上に大きな可能性を示し,その耐障害性を総合的に評価した。次に, 耐故障性, 省エネ性NN処理における耐故障性の検討を行った。以上の結果から, 耐故障設計のオーバーヘッドを27.49 %, エネルギー消費を7.19 %削減できることがわかった。

関連論文リスト

Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations [49.22640185566807]
CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
論文参考訳（メタデータ） (2023-12-23T17:54:03Z)
Exploring Winograd Convolution for Cost-effective Neural Network Fault Tolerance [14.588891723027892]
ウィノグラードの畳み込みは、標準の畳み込みよりも正確さを失うことなく、平均して55.77%の耐故障設計オーバーヘッドを減らすことができる。フォールト・アウェア・リトレーニングと制約付きアクティベーション関数によって強化されたフォールト・トレラントニューラルネットワークに適用した場合、モデル精度は一般的に、様々な障害の存在において顕著に改善されている。
論文参考訳（メタデータ） (2023-08-16T09:03:13Z)
Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文参考訳（メタデータ） (2023-07-27T17:42:06Z)
Low-Rank Winograd Transformation for 3D Convolutional Neural Networks [25.236436823266203]
本稿では,3次元畳み込みニューラルネットワーク(CNN)におけるWinograd変換について述べる。低ランクなウィノグラード変換は、元の大きなテンソルをより少ない2つのトレーニング可能なテンソルに分解する新しい訓練パラダイムである。提案した低ランク配向スパース粒度は,バニラに比べて実用的なウィノグラード加速を可能にすることを示す。
論文参考訳（メタデータ） (2023-01-26T15:44:22Z)
Winograd Algorithm for AdderNet [54.93995545896655]
Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
論文参考訳（メタデータ） (2021-05-12T09:13:34Z)
Efficient Residue Number System Based Winograd Convolution [15.210764522845416]
Winogradアルゴリズムは、浮動小数点で表現される重みとアクティベーションを持つ畳み込みニューラルネットワーク(CNN)の計算複雑性を低減することができる。我々の研究はWinogradアルゴリズムをResidue Number System (RNS)に拡張した。最小の複雑性畳み込みは、大きな変換タイル上で正確に計算される。
論文参考訳（メタデータ） (2020-07-23T19:07:06Z)
Rethinking Bottleneck Structure for Efficient Mobile Network Design [154.47657111869552]
倒立残差ブロックは最近,モバイルネットワークのアーキテクチャ設計を支配している。この構造を反転させ,より高次元でのアイデンティティマッピングと空間変換を行うサンドグラスブロックと呼ばれる新しいボトルネック設計を提案する。 ImageNet分類では、パラメータや計算量を増やすことなく、逆残差ブロックを砂時計ブロックに置き換えることによって、MobileNetV2よりも1.7%以上精度を向上することができる。
論文参考訳（メタデータ） (2020-07-05T08:55:26Z)
Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base [0.0]
ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
論文参考訳（メタデータ） (2020-04-23T11:15:27Z)
Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文参考訳（メタデータ） (2020-04-11T03:50:59Z)
LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
論文参考訳（メタデータ） (2020-03-19T09:46:50Z)
Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
論文参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。