論文の概要: ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing

• arxiv url: http://arxiv.org/abs/2302.10469v5
• Date: Mon, 21 Apr 2025 02:17:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 15:07:01.544121
• Title: ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing
• Title（参考訳）: ApproxABFT:ニューラルネットワーク処理のためのアルゴリズムベースのフォールトトレランス
• Authors: Xinghua Xue, Cheng Liu, Feng Min, Tao Luo, Yinhe Han,
• Abstract要約: アルゴリズムに基づく耐障害性(ABFT)機構は信頼性向上のための有望なソリューションとなっている。 本稿では,適応的エラー許容しきい値を導入し,選択的障害回復を実現するための近似ABFTフレームワークを提案する。 提案した ApproxABFT は,従来の ABFT よりも43.39% の冗長計算オーバーヘッド削減を実現している。
• 参考スコア（独自算出の注目度）: 7.578258600530223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing deployment of deep neural networks (DNNs) in terrestrial and aerospace safety-critical applications, system reliability has emerged as a co-equal design metric alongside computational efficiency. Algorithm-based fault tolerance (ABFT) mechanisms, characterized by architecture-agnostic and cost-effectiveness, have become a promising solution for reliability enhancement. However, conventional ABFT approaches rely on rigorous verification mechanisms where even minor computational deviations trigger error recovery processes, which not only disregards the intrinsic fault tolerance characteristics of DNN models but also incurs redundant fault tolerance processing overhead. To address these limitations, we propose an Approximate ABFT framework (ApproxABFT) that innovatively introduces adaptive error tolerance thresholds to enable selective fault recovery, activating error correction modules exclusively when computational deviations exceed predefined thresholds. This approach effectively mitigating overreaction to non-critical computational errors. Furthermore, a dynamic block granularity optimization algorithm is implemented to achieve inter-layer error sensitivity balancing. Experimental evaluations demonstrate that the proposed ApproxABFT achieves a 43.39% average reduction in redundant computing overhead compared to previous accurate ABFT, while simultaneously enhancing the tolerable soft error rate by an order of magnitude.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)の地上および航空宇宙安全クリティカルなアプリケーションへの展開の増加に伴い、システムの信頼性は計算効率と同等の設計指標として浮上した。 アルゴリズムに基づく耐障害性(ABFT)機構は, アーキテクチャに依存しない, 費用対効果が特徴であり, 信頼性向上のための有望なソリューションとなっている。 しかし、従来のABFTアプローチは、DNNモデルの本質的な耐故障性特性を無視するだけでなく、冗長な耐故障性処理のオーバーヘッドを生じさせるような、微妙な計算偏差さえもエラー回復プロセスを引き起こす厳密な検証機構に依存している。 これらの制約に対処するため,適応型エラー許容しきい値を導入した Approximate ABFT フレームワーク (ApproxABFT) を提案する。 このアプローチは、非クリティカルな計算誤差に対する過剰反応を効果的に軽減する。 さらに,層間誤差感度バランスを実現するために,動的ブロック粒度最適化アルゴリズムを実装した。 実験により,提案した ApproxABFT は,従来の精度のABFT と比較して平均43.39% の冗長計算オーバヘッド削減を実現し,耐ソフトエラー率を桁違いに向上した。

関連論文リスト

• Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection [1.474723404975345]
  安全クリティカルなアプリケーションのための機械学習ベースの組み込みシステムは、ソフトエラーによる摂動に対して堅牢でなければならない。 ハイパースペクトル画像のセマンティックセグメンテーションのために開発されたエンコーダ・デコーダ畳み込みモデルと自律運転システムへの応用に焦点を当てた。
  論文  参考訳（メタデータ） (2025-04-07T14:21:31Z)
• FT-Transformer: Resilient and Reliable Transformer with End-to-End Fault Tolerant Attention [5.044679241062448]
  トランスフォーマーモデルは、依存関係をキャプチャするために自己保持機構を活用し、様々なアプリケーションで例外的なパフォーマンスを示す。 既存のフォールトトレランス法は、切り離されたカーネルを使用して各操作を別々に保護し、かなりの計算とメモリオーバーヘッドを発生させる。 本稿では、エンドツーエンドのフォールトトレラントな注意を組み込んだトランスフォーマーモデルのための新しいエラー耐性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T02:05:08Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• A constrained optimization approach to improve robustness of neural networks [1.2338729811609355]
  クリーンなデータに対する精度を維持しつつ、敵攻撃に対する堅牢性を向上させるために、ファインチューン事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-18T18:37:14Z)
• Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning [0.4660328753262075]
  本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。 提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。 注目すべきは、硬化したpruned CNNは、硬化したun-prunedよりも最大24%高速であることだ。
  論文  参考訳（メタデータ） (2024-05-17T09:42:44Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• APPRAISER: DNN Fault Resilience Analysis Employing Approximation Errors [1.1091582432763736]
  安全クリティカルなアプリケーションにおけるディープニューラルネットワーク(DNN)は、新たな信頼性の懸念を引き起こす。 エミュレーションによる断層注入の最先端手法は, 時間, 設計, 制御・複雑度の問題を引き起こす。 APPRAISERは、非伝統的な目的に関数近似を適用し、近似計算誤差を用いる。
  論文  参考訳（メタデータ） (2023-05-31T10:53:46Z)
• Intelligent Proactive Fault Tolerance at the Edge through Resource Usage Prediction [0.7046417074932255]
  リカレントニューラルネットワーク(RNN)を用いたエッジリソース利用予測を利用した知的能動的フォールトトレランス(IPFT)手法を提案する。 本稿では,処理能力の欠如により許容範囲で品質・オブ・サービス(QoS)を提供するインフラの欠如に関連するプロセスフォールトに着目した。
  論文  参考訳（メタデータ） (2023-02-09T00:42:34Z)
• Minimizing Worst-Case Violations of Neural Networks [0.0]
  本稿では,高い平均性能と最低ケース違反の両方を達成するために設計されたニューラルネットワークトレーニング手法を提案する。 本稿では, 39バスから162バスまで, AC-OPF と DC-OPF の2種類の試験システムを対象としたアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:20:12Z)
• DeepFT: Fault-Tolerant Edge Computing using a Self-Supervised Deep Surrogate Model [12.335763358698564]
  本稿では,システム過負荷とその悪影響を積極的に回避するためにDeepFTを提案する。 DeepFTは、システム内の障害を正確に予測し、診断するために、ディープサロゲートモデルを使用している。 モデルのサイズが1ユニットあたりわずか3～1%のスケールで、アクティブなタスクやホストの数が増えるため、非常にスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2022-12-02T16:51:58Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural Networks [13.100954947774163]
  畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。 CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。 従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
  論文  参考訳（メタデータ） (2020-03-27T02:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。