論文の概要: Exploring Winograd Convolution for Cost-effective Neural Network Fault Tolerance

• arxiv url: http://arxiv.org/abs/2308.08230v1
• Date: Wed, 16 Aug 2023 09:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 14:14:56.856066
• Title: Exploring Winograd Convolution for Cost-effective Neural Network Fault Tolerance
• Title（参考訳）: 費用対効果のあるニューラルネットワークフォールトトレランスのためのWinograd畳み込み探索
• Authors: Xinghua Xue, Cheng Liu, Bo Liu, Haitong Huang, Ying Wang, Tao Luo, Lei Zhang, Huawei Li, Xiaowei Li
• Abstract要約: ウィノグラードの畳み込みは、標準の畳み込みよりも正確さを失うことなく、平均して55.77%の耐故障設計オーバーヘッドを減らすことができる。 フォールト・アウェア・リトレーニングと制約付きアクティベーション関数によって強化されたフォールト・トレラントニューラルネットワークに適用した場合、モデル精度は一般的に、様々な障害の存在において顕著に改善されている。
• 参考スコア（独自算出の注目度）: 14.588891723027892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Winograd is generally utilized to optimize convolution performance and computational efficiency because of the reduced multiplication operations, but the reliability issues brought by winograd are usually overlooked. In this work, we observe the great potential of winograd convolution in improving neural network (NN) fault tolerance. Based on the observation, we evaluate winograd convolution fault tolerance comprehensively from different granularities ranging from models, layers, and operation types for the first time. Then, we explore the use of inherent fault tolerance of winograd convolution for cost-effective NN protection against soft errors. Specifically, we mainly investigate how winograd convolution can be effectively incorporated with classical fault-tolerant design approaches including triple modular redundancy (TMR), fault-aware retraining, and constrained activation functions. According to our experiments, winograd convolution can reduce the fault-tolerant design overhead by 55.77\% on average without any accuracy loss compared to standard convolution, and further reduce the computing overhead by 17.24\% when the inherent fault tolerance of winograd convolution is considered. When it is applied on fault-tolerant neural networks enhanced with fault-aware retraining and constrained activation functions, the resulting model accuracy generally shows significant improvement in presence of various faults.
• Abstract（参考訳）: winogradは通常、乗算演算の削減による畳み込み性能と計算効率の最適化に利用されるが、winogradによってもたらされる信頼性の問題は通常見逃される。 本研究では,ニューラルネットワーク(NN)の耐障害性向上において,Winograd畳み込みの大きな可能性について考察する。 そこで本研究では,ウィノグラード畳み込みの耐障害性について,モデル,層,操作タイプなどさまざまな粒度から包括的に評価した。 次に,ウィノグラード畳み込みの固有障害耐性を,ソフトエラーに対する費用対効果の高いnn保護に利用することを検討する。 具体的には,三重モジュール冗長性(tmr),フォールトアウェアリトレーニング,制約付きアクティベーション関数など,従来のフォールトトレラント設計手法にウィノグラード畳み込みを効果的に組み込む方法について検討した。 本実験により, 耐故障設計のオーバーヘッドを標準畳み込みに比べて平均55.77\%削減し, さらに, 耐故障性を考慮した場合の計算オーバーヘッドを17.24\%削減できることがわかった。 フォールトアウェアリトレーニングと制約付きアクティベーション関数によって拡張されたフォールトトレラントニューラルネットワークに適用すると、結果として得られたモデルの精度は、一般的に様々な障害の存在下で著しく向上する。

関連論文リスト

• Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations [49.22640185566807]
  CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。 学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
  論文  参考訳（メタデータ） (2023-12-23T17:54:03Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Low-Rank Winograd Transformation for 3D Convolutional Neural Networks [25.236436823266203]
  本稿では,3次元畳み込みニューラルネットワーク(CNN)におけるWinograd変換について述べる。 低ランクなウィノグラード変換は、元の大きなテンソルをより少ない2つのトレーニング可能なテンソルに分解する新しい訓練パラダイムである。 提案した低ランク配向スパース粒度は,バニラに比べて実用的なウィノグラード加速を可能にすることを示す。
  論文  参考訳（メタデータ） (2023-01-26T15:44:22Z)
• Winograd Convolution: A Perspective from Fault Tolerance [11.626169868836955]
  Winograd Convolutionは、ニューラルネットワーク(NN)の乗算を線形変換によって加算することで、計算オーバーヘッドを削減するために提案された。 我々は,NN耐障害性の向上に大きな可能性を示し,その耐障害性を初めて評価した。
  論文  参考訳（メタデータ） (2022-02-17T14:19:55Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Winograd Algorithm for AdderNet [54.93995545896655]
  Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。 本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2021-05-12T09:13:34Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
  我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
  論文  参考訳（メタデータ） (2020-03-19T09:46:50Z)
• Searching for Winograd-aware Quantized Networks [12.351250944079949]
  我々は、ウィノグラード変換によって導入された数値的不正確さを明らかにする畳み込み層のウィノグラード対応の定式化を提案する。 また, 数値誤差の原因にも対処し, 変換行列の形状を緩和し, CIFAR-10の分類精度を最大10%向上させる手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T07:53:53Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。