論文の概要: Making Convolutions Resilient via Algorithm-Based Error Detection Techniques

• arxiv url: http://arxiv.org/abs/2006.04984v1
• Date: Mon, 8 Jun 2020 23:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 02:47:25.369105
• Title: Making Convolutions Resilient via Algorithm-Based Error Detection Techniques
• Title（参考訳）: アルゴリズムによる誤り検出手法による畳み込みのレジリエンス
• Authors: Siva Kumar Sastry Hari, Michael B. Sullivan, Timothy Tsai, and Stephen W. Keckler
• Abstract要約: 畳み込みニューラルネットワーク(CNN)はリアルタイムテレメトリを正確に処理する。 CNNはハードウェア障害がある場合、正しく実行しなければならない。 完全な重複は必要な保証を提供するが、100%オーバーヘッドを引き起こす。
• 参考スコア（独自算出の注目度）: 2.696566807900575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of Convolutional Neural Networks (CNNs) to accurately process real-time telemetry has boosted their use in safety-critical and high-performance computing systems. As such systems require high levels of resilience to errors, CNNs must execute correctly in the presence of hardware faults. Full duplication provides the needed assurance but incurs a prohibitive 100% overhead. Algorithmic techniques are known to offer low-cost solutions, but the practical feasibility and performance of such techniques have never been studied for CNN deployment platforms (e.g., TensorFlow or TensorRT on GPUs). In this paper, we focus on algorithmically verifying Convolutions, which are the most resource-demanding operations in CNNs. We use checksums to verify convolutions, adding a small amount of redundancy, far less than full-duplication. We first identify the challenges that arise in employing Algorithm-Based Error Detection (ABED) for Convolutions in optimized inference platforms that fuse multiple network layers and use reduced-precision operations, and demonstrate how to overcome them. We propose and evaluate variations of ABED techniques that offer implementation complexity, runtime overhead, and coverage trade-offs. Results show that ABED can detect all transient hardware errors that might otherwise corrupt output and does so while incurring low runtime overheads (6-23%), offering at least 1.6X throughput to workloads compared to full duplication.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)がリアルタイムテレメトリを正確に処理する能力は、安全性クリティカルで高性能なコンピューティングシステムでの使用を促進する。 このようなシステムはエラーに対して高いレベルのレジリエンスを必要とするため、CNNはハードウェアの欠陥がある場合には正しく実行する必要がある。 完全な重複は必要な保証を提供するが、100%のオーバーヘッドを負う。 アルゴリズム技術は低コストのソリューションを提供することが知られているが、CNNのデプロイメントプラットフォーム(GPU上のTensorFlowやTensorRTなど)でそのような技術の実現可能性や性能は研究されていない。 本稿では,CNNにおいて最もリソースを必要とする処理である畳み込みをアルゴリズムで検証することに焦点を当てる。 コンボリューションを検証するためにchecksumsを使用し、少量の冗長性を追加しています。 まず、複数のネットワーク層を融合させ、少ない精度で処理を行う最適化推論プラットフォームの畳み込みにアルゴリズムに基づくエラー検出(abed)を使用することで生じる課題を特定し、それらを克服する方法を実証する。 実装の複雑さ、ランタイムオーバーヘッド、カバレッジトレードオフを提供するABED手法のバリエーションを提案し評価する。 その結果、ABEDは出力を損なう可能性のある過渡的ハードウェアエラーをすべて検出でき、実行時のオーバーヘッドが低い(6-23%)ため、完全な複製に比べてワークロードに少なくとも1.6倍のスループットを提供する。

関連論文リスト

• Global Context Aggregation Network for Lightweight Saliency Detection of Surface Defects [70.48554424894728]
  我々は,エンコーダ・デコーダ構造上の表面欠陥を簡易に検出するためのGCANet(Global Context Aggregation Network)を開発した。 まず、軽量バックボーンの上部層に新しいトランスフォーマーエンコーダを導入し、DSA(Depth-wise Self-Attention)モジュールを通じてグローバルなコンテキスト情報をキャプチャする。 3つの公開欠陥データセットの実験結果から,提案したネットワークは,他の17の最先端手法と比較して,精度と実行効率のトレードオフを良好に達成できることが示された。
  論文  参考訳（メタデータ） (2023-09-22T06:19:11Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• One-Shot Online Testing of Deep Neural Networks Based on Distribution Shift Detection [0.6091702876917281]
  本研究では,1つのテストベクタのみを用いて,暗黙のクロスバー上で高速化されたNNをテストできるエミフォン・ショット・テスト手法を提案する。 私たちのアプローチは、いくつかの大きなトポロジにまたがる100%のフォールトカバレッジを一貫して達成できます。
  論文  参考訳（メタデータ） (2023-05-16T11:06:09Z)
• QVIP: An ILP-based Formal Verification Approach for Quantized Neural Networks [14.766917269393865]
  量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。 そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。 特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
  論文  参考訳（メタデータ） (2022-12-10T03:00:29Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural Networks [13.100954947774163]
  畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。 CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。 従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
  論文  参考訳（メタデータ） (2020-03-27T02:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。