論文の概要: ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing

• arxiv url: http://arxiv.org/abs/2302.10469v3
• Date: Tue, 25 Feb 2025 09:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:17:34.643950
• Title: ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing
• Title（参考訳）: ApproxABFT:ニューラルネットワーク処理のためのアルゴリズムベースのフォールトトレランス
• Authors: Xinghua Xue, Cheng Liu, Feng Min, Tao Luo, Yinhe Han,
• Abstract要約: 本稿では,計算誤差が大きい場合にのみエラー回復を開始するApproxABFTを提案する。 このアプローチでは、不要なリカバリ手順を回避し、エラーリカバリプロセスを合理化し、影響のあるエラーの修正に重点を置いている。 実験の結果、ApproxABFTは計算オーバーヘッドを67.83%削減し、許容ビットエラー率を平均で桁違いに改善した。
• 参考スコア（独自算出の注目度）: 7.578258600530223
• License:
• Abstract: With the growing adoption of neural network models in safety-critical applications such as autonomous driving and robotics, reliability has become a critical metric alongside performance and energy efficiency. Algorithm-based fault tolerance (ABFT) strategies, designed atop standard chip architectures, are both cost-effective and adaptable to different architectures, making them particularly attractive. However, traditional ABFT relies on precise error metrics, triggering error recovery procedures even for minor computational deviations. These minor errors often do not impact the accuracy of the neural network model due to the inherent fault tolerance. To address this inefficiency, we propose an approximate ABFT approach, called ApproxABFT, which initiates error recovery only when computational errors are significant. This approach avoids unnecessary recovery procedures, streamlines the error recovery process, and focuses on correcting impactful errors, ultimately enhancing recovery quality. Additionally, ApproxABFT incorporates a fine-grained blocking strategy to smooth error sensitivity across layers within neural network models. Experimental results demonstrate that ApproxABFT reduces the computing overhead by 67.83\% and improves the tolerable bit error rate by an order of magnitude on average compared to classical accurate ABFT.
• Abstract（参考訳）: 自律運転やロボティクスといった安全クリティカルなアプリケーションにおけるニューラルネットワークモデルの採用の増加に伴い、信頼性はパフォーマンスとエネルギー効率の両立する重要な指標となっている。 標準的なチップアーキテクチャ上に設計されたアルゴリズムベースのフォールトトレランス(ABFT)戦略は、コスト効率が高く、異なるアーキテクチャに適応可能であるため、特に魅力的である。 しかし、従来のABFTは正確なエラーメトリクスに依存しており、小さな計算偏差であってもエラー回復手順をトリガーする。 これらの小さなエラーは、固有のフォールトトレランスのため、ニューラルネットワークモデルの精度に影響を与えないことが多い。 この非効率性に対処するために、近似ABFTアプローチであるApproxABFTを提案する。 このアプローチは、不要なリカバリ手順を回避し、エラーリカバリプロセスを合理化し、影響のあるエラーの修正に集中し、最終的にリカバリ品質を向上する。 さらに、ApproxABFTは、ニューラルネットワークモデル内のレイヤ間のエラー感度を円滑にするために、きめ細かいブロッキング戦略を取り入れている。 実験の結果,ApproxABFTは計算オーバーヘッドを67.83倍に削減し,従来のABFTに比べてビット誤り率を桁違いに改善した。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning [0.4660328753262075]
  本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。 提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。 注目すべきは、硬化したpruned CNNは、硬化したun-prunedよりも最大24%高速であることだ。
  論文  参考訳（メタデータ） (2024-05-17T09:42:44Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Minimizing Worst-Case Violations of Neural Networks [0.0]
  本稿では,高い平均性能と最低ケース違反の両方を達成するために設計されたニューラルネットワークトレーニング手法を提案する。 本稿では, 39バスから162バスまで, AC-OPF と DC-OPF の2種類の試験システムを対象としたアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:20:12Z)
• DeepFT: Fault-Tolerant Edge Computing using a Self-Supervised Deep Surrogate Model [12.335763358698564]
  本稿では,システム過負荷とその悪影響を積極的に回避するためにDeepFTを提案する。 DeepFTは、システム内の障害を正確に予測し、診断するために、ディープサロゲートモデルを使用している。 モデルのサイズが1ユニットあたりわずか3～1%のスケールで、アクティブなタスクやホストの数が増えるため、非常にスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2022-12-02T16:51:58Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural Networks [13.100954947774163]
  畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。 CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。 従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
  論文  参考訳（メタデータ） (2020-03-27T02:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。