論文の概要: Arithmetic-Intensity-Guided Fault Tolerance for Neural Network Inference on GPUs

• arxiv url: http://arxiv.org/abs/2104.09455v1
• Date: Mon, 19 Apr 2021 17:13:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:29:19.354882
• Title: Arithmetic-Intensity-Guided Fault Tolerance for Neural Network Inference on GPUs
• Title（参考訳）: GPU上のニューラルネットワーク推論のための算術的強度誘導型フォールトトレランス
• Authors: Jack Kosaian, K. V. Rashmi
• Abstract要約: ニューラルネットワーク(NN)は、科学計算や安全クリティカルシステムなどの高い信頼性を必要とする領域でますます採用されています。 最近の研究が示すように、NN推論の欠陥は誤予測や安全性の危険をもたらす可能性があるため、NN推論にフォールトトレランスを付与することが重要である。 アルゴリズムに基づく耐障害性 (ABFT) は, NNにおける効率的な耐障害性に対する魅力的なアプローチとして浮上している。
• 参考スコア（独自算出の注目度）: 1.6752182911522517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks (NNs) are increasingly employed in domains that require high reliability, such as scientific computing and safety-critical systems, as well as in environments more prone to unreliability (e.g., soft errors), such as on spacecraft. As recent work has shown that faults in NN inference can lead to mispredictions and safety hazards, it is critical to impart fault tolerance to NN inference. Algorithm-based fault tolerance (ABFT) is emerging as an appealing approach for efficient fault tolerance in NNs. In this work, we identify new, unexploited opportunities for low-overhead ABFT for NN inference: current inference-optimized GPUs have high compute-to-memory-bandwidth ratios, while many layers of current and emerging NNs have low arithmetic intensity. This leaves many convolutional and fully-connected layers in NNs memory-bandwidth-bound. These layers thus exhibit stalls in computation that could be filled by redundant execution, but that current approaches to ABFT for NN inference cannot exploit. To reduce execution-time overhead for such memory-bandwidth-bound layers, we first investigate thread-level ABFT schemes for inference-optimized GPUs that exploit this fine-grained compute underutilization. We then propose intensity-guided ABFT, an adaptive, arithmetic-intensity-guided approach to ABFT that selects the best ABFT scheme for each individual layer between traditional approaches to ABFT, which are suitable for compute-bound layers, and thread-level ABFT, which is suitable for memory-bandwidth-bound layers. Through this adaptive approach, intensity-guided ABFT reduces execution-time overhead by 1.09--5.3$\times$ across a variety of NNs, lowering the cost of fault tolerance for current and future NN inference workloads.
• Abstract（参考訳）: ニューラルネットワーク(nns)は、科学計算や安全クリティカルシステムなどの高い信頼性を必要とする分野や、宇宙船のような信頼性の低い(ソフトエラーのような)環境において、ますます採用されている。 最近の研究が示すように、NN推論の欠陥は誤予測や安全性の危険をもたらす可能性があるため、NN推論にフォールトトレランスを与えることが重要である。 アルゴリズムに基づく耐障害性 (ABFT) は, NNにおける効率的な耐障害性に対する魅力的なアプローチとして浮上している。 そこで本研究では,NN推論のための低オーバヘッドABFTの新たな機会を特定する。現在の推論最適化GPUは高い演算/メモリ/バンド幅比を持ち,現在のNNと新興NNの多くの層は演算強度が低い。 これはnnsメモリバンド幅バウンドの多くの畳み込み層と完全接続層を残している。 したがって、これらの層は冗長な実行で満たされる計算のストールを示すが、現在のNN推論におけるABFTへのアプローチは利用できない。 このようなメモリ帯域幅境界層の実行時間オーバーヘッドを低減するため、まず、この微細な計算過小利用を利用する推論最適化GPUのスレッドレベルABFTスキームについて検討する。 次に,ABFTに対する適応的,算術的インテンシティ誘導型アプローチであるインテンシティ誘導型ABFTを提案し,各層に最適なABFTスキームを,計算バウンド層に適したABFTと,メモリバンド幅境界層に適したスレッドレベルABFTの2つのアプローチの間で選択する。 この適応アプローチにより、インテンシティ誘導abftは、様々なnnに対して実行時のオーバーヘッドを1.09--5.3$\times$削減し、現在および将来のnn推論ワークロードに対するフォールトトレランスのコストを下げる。

関連論文リスト

• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• N-Adaptive Ritz Method: A Neural Network Enriched Partition of Unity for Boundary Value Problems [1.2200609701777907]
  本研究は,ニューラルネットワークによる境界値問題を解決するために,ニューラルネットワークに富んだユニティ分割(NN-PU)アプローチを導入する。 NNエンリッチメントは、事前訓練された特徴符号化NNブロックと未訓練NNブロックを組み合わせることで構成される。 提案手法は,従来のメッシュ法に比べて計算コストを低減しつつ,正確な解を提供する。
  論文  参考訳（メタデータ） (2024-01-16T18:11:14Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time [1.8515971640245998]
  最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
  論文  参考訳（メタデータ） (2021-12-20T13:44:20Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。