論文の概要: ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing

• arxiv url: http://arxiv.org/abs/2302.10469v4
• Date: Tue, 11 Mar 2025 16:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 18:30:32.950461
• Title: ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing
• Title（参考訳）: ApproxABFT:ニューラルネットワーク処理のためのアルゴリズムベースのフォールトトレランス
• Authors: Xinghua Xue, Cheng Liu, Feng Min, Tao Luo, Yinhe Han,
• Abstract要約: 本稿では,計算誤差が大きい場合にのみエラー回復を開始するApproxABFTを提案する。 このアプローチでは、不要なリカバリ手順を回避し、エラーリカバリプロセスを合理化し、影響のあるエラーの修正に重点を置いている。 実験の結果、ApproxABFTは計算オーバーヘッドを67.83%削減し、許容ビットエラー率を平均で桁違いに改善した。
• 参考スコア（独自算出の注目度）: 7.578258600530223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing adoption of neural network models in safety-critical applications such as autonomous driving and robotics, reliability has become a critical metric alongside performance and energy efficiency. Algorithm-based fault tolerance (ABFT) strategies, designed atop standard chip architectures, are both cost-effective and adaptable to different architectures, making them particularly attractive. However, traditional ABFT relies on precise error metrics, triggering error recovery procedures even for minor computational deviations. These minor errors often do not impact the accuracy of the neural network model due to the inherent fault tolerance. To address this inefficiency, we propose an approximate ABFT approach, called ApproxABFT, which initiates error recovery only when computational errors are significant. This approach avoids unnecessary recovery procedures, streamlines the error recovery process, and focuses on correcting impactful errors, ultimately enhancing recovery quality. Additionally, ApproxABFT incorporates a fine-grained blocking strategy to smooth error sensitivity across layers within neural network models. Experimental results demonstrate that ApproxABFT reduces the computing overhead by 67.83\% and improves the tolerable bit error rate by an order of magnitude on average compared to classical accurate ABFT.
• Abstract（参考訳）: 自律運転やロボティクスといった安全クリティカルなアプリケーションにおけるニューラルネットワークモデルの採用の増加に伴い、信頼性はパフォーマンスとエネルギー効率の両立する重要な指標となっている。 標準的なチップアーキテクチャ上に設計されたアルゴリズムベースのフォールトトレランス(ABFT)戦略は、コスト効率が高く、異なるアーキテクチャに適応可能であるため、特に魅力的である。 しかし、従来のABFTは正確なエラーメトリクスに依存しており、小さな計算偏差であってもエラー回復手順をトリガーする。 これらの小さなエラーは、固有のフォールトトレランスのため、ニューラルネットワークモデルの精度に影響を与えないことが多い。 この非効率性に対処するために、近似ABFTアプローチであるApproxABFTを提案する。 このアプローチは、不要なリカバリ手順を回避し、エラーリカバリプロセスを合理化し、影響のあるエラーの修正に集中し、最終的にリカバリ品質を向上する。 さらに、ApproxABFTは、ニューラルネットワークモデル内のレイヤ間のエラー感度を円滑にするために、きめ細かいブロッキング戦略を取り入れている。 実験の結果,ApproxABFTは計算オーバーヘッドを67.83倍に削減し,従来のABFTに比べてビット誤り率を桁違いに改善した。

関連論文リスト

• Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection [1.474723404975345]
  安全クリティカルなアプリケーションのための機械学習ベースの組み込みシステムは、ソフトエラーによる摂動に対して堅牢でなければならない。 ハイパースペクトル画像のセマンティックセグメンテーションのために開発されたエンコーダ・デコーダ畳み込みモデルと自律運転システムへの応用に焦点を当てた。
  論文  参考訳（メタデータ） (2025-04-07T14:21:31Z)
• FT-Transformer: Resilient and Reliable Transformer with End-to-End Fault Tolerant Attention [5.044679241062448]
  トランスフォーマーモデルは、依存関係をキャプチャするために自己保持機構を活用し、様々なアプリケーションで例外的なパフォーマンスを示す。 既存のフォールトトレランス法は、切り離されたカーネルを使用して各操作を別々に保護し、かなりの計算とメモリオーバーヘッドを発生させる。 本稿では、エンドツーエンドのフォールトトレラントな注意を組み込んだトランスフォーマーモデルのための新しいエラー耐性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T02:05:08Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• A constrained optimization approach to improve robustness of neural networks [1.2338729811609355]
  クリーンなデータに対する精度を維持しつつ、敵攻撃に対する堅牢性を向上させるために、ファインチューン事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-18T18:37:14Z)
• Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning [0.4660328753262075]
  本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。 提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。 注目すべきは、硬化したpruned CNNは、硬化したun-prunedよりも最大24%高速であることだ。
  論文  参考訳（メタデータ） (2024-05-17T09:42:44Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• APPRAISER: DNN Fault Resilience Analysis Employing Approximation Errors [1.1091582432763736]
  安全クリティカルなアプリケーションにおけるディープニューラルネットワーク(DNN)は、新たな信頼性の懸念を引き起こす。 エミュレーションによる断層注入の最先端手法は, 時間, 設計, 制御・複雑度の問題を引き起こす。 APPRAISERは、非伝統的な目的に関数近似を適用し、近似計算誤差を用いる。
  論文  参考訳（メタデータ） (2023-05-31T10:53:46Z)
• Intelligent Proactive Fault Tolerance at the Edge through Resource Usage Prediction [0.7046417074932255]
  リカレントニューラルネットワーク(RNN)を用いたエッジリソース利用予測を利用した知的能動的フォールトトレランス(IPFT)手法を提案する。 本稿では,処理能力の欠如により許容範囲で品質・オブ・サービス(QoS)を提供するインフラの欠如に関連するプロセスフォールトに着目した。
  論文  参考訳（メタデータ） (2023-02-09T00:42:34Z)
• Minimizing Worst-Case Violations of Neural Networks [0.0]
  本稿では,高い平均性能と最低ケース違反の両方を達成するために設計されたニューラルネットワークトレーニング手法を提案する。 本稿では, 39バスから162バスまで, AC-OPF と DC-OPF の2種類の試験システムを対象としたアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-21T11:20:12Z)
• DeepFT: Fault-Tolerant Edge Computing using a Self-Supervised Deep Surrogate Model [12.335763358698564]
  本稿では,システム過負荷とその悪影響を積極的に回避するためにDeepFTを提案する。 DeepFTは、システム内の障害を正確に予測し、診断するために、ディープサロゲートモデルを使用している。 モデルのサイズが1ユニットあたりわずか3～1%のスケールで、アクティブなタスクやホストの数が増えるため、非常にスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2022-12-02T16:51:58Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural Networks [13.100954947774163]
  畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。 CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。 従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
  論文  参考訳（メタデータ） (2020-03-27T02:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。