論文の概要: Effective and Memory-Efficient Alternatives to ECC for Reliable Large-Scale DNNs
- arxiv url: http://arxiv.org/abs/2605.07417v1
- Date: Fri, 08 May 2026 08:11:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.915024
- Title: Effective and Memory-Efficient Alternatives to ECC for Reliable Large-Scale DNNs
- Title（参考訳）: 信頼性の高い大規模DNNにおけるECCの有効かつ効率的な代替手段
- Authors: Mohammad Hasan Ahmadilivani, Marten Roots, Marco Restifo, Sven-Markus Loorits, Luca Di Mauro, Jaan Raik,
- Abstract要約: より信頼性の高い誤り訂正符号(ECC)の2つの軽量な代替案を提案する。
最初のアプローチであるMSETは、CNNとViTパラメータの最も脆弱なビットを選択的に強化する。
第2のアプローチであるCEPは、すべてのパラメータビットに対してきめ細かい保護を提供する。
- 参考スコア（独自算出の注目度）: 0.20524609401792393
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern Deep Learning (DL) workloads are increasingly deployed in safety-critical domains, such as automotive systems and hyperscale data centers, where transient hardware faults pose a serious threat to system reliability. These workloads are highly memory-intensive, and their correct functionality strongly depends on model parameters stored in memory, which are typically protected using Error Correction Codes (ECCs). In this work, we study ECC's impact on such models and propose two lightweight alternatives to ECCs that achieve superior reliability. The first approach, MSET, selectively hardens the most vulnerable bits in CNN and ViT parameters, while the second approach, CEP, provides fine-grained protection for all parameter bits. Experimental results demonstrate that both methods significantly enhance the reliability of large CNNs and ViTs, mostly outperforming conventional Single Error Detection Double Error Correction (SECDED) ECC schemes, with no memory overhead and, in fact, with considerably lower area and delay characteristics when compared to SECDEC. Experimental results indicate that ViTs can be effectively protected by merely protecting their highest exponent bits in FP16 and FP32 representations. Furthermore, applying the CEP technique can guarantee the resilience of DNNs by up to one order of magnitude higher BERs, with a 3.5x lower area overhead and 7x faster decoder compared to SECDED ECC.
- Abstract（参考訳）: 現代のディープラーニング(DL)ワークロードは、過渡的なハードウェア障害がシステムの信頼性に深刻な脅威をもたらす、自動車システムやハイパースケールデータセンタなど、安全クリティカルな領域にますますデプロイされています。
これらのワークロードはメモリ集約性が高く、正しい機能は、一般的にエラー訂正コード(ECC)を使用して保護されるメモリに格納されたモデルパラメータに強く依存する。
本研究では,そのようなモデルに対するECCの影響について検討し,信頼性の高いECCに代わる2つの軽量な代替案を提案する。
第1のアプローチであるMSETは、CNNとViTパラメータの最も脆弱なビットを選択的に強化し、第2のアプローチであるCEPは、すべてのパラメータビットに対してきめ細かい保護を提供する。
実験の結果,2つの手法はCNNとViTの信頼性を著しく向上させ,従来のシングルエラー検出ダブルエラー補正(SECDED)ECC方式よりも高い性能を示し,メモリオーバーヘッドがなく,実際にSECDECに比べて領域と遅延特性がかなり低い。
実験結果から、VTはFP16およびFP32表現において、最上位の指数ビットを単に保護するだけで有効に保護できることが示された。
さらに、CEP技術を適用することで、SECDED ECCに比べて3.5倍の領域オーバーヘッドと7倍高速なデコーダを持つ、最大1桁高いBERのDNNのレジリエンスを保証できる。
関連論文リスト
- Efficient Adversarial Training via Criticality-Aware Fine-Tuning [59.84340722595335]
criticality-Aware Adversarial Training (CAAT) は、リソースを最も堅牢でクリティカルなパラメータに適応的に割り当てる新しい手法である。
CAATは、そのパラメータの約6%を調整しながら、敵の堅牢性をわずか4.3%減少させる。
広く使われている3つの逆学習データセットの実験では、CAATはトレーニング可能なパラメータが少なくて最先端の軽量ATメソッドより優れていることが示されている。
論文 参考訳（メタデータ） (2026-04-14T14:17:38Z) - Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。
FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。
我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
論文 参考訳（メタデータ） (2026-03-30T11:37:46Z) - When Small Variations Become Big Failures: Reliability Challenges in Compute-in-Memory Neural Accelerators [10.520875052654771]
安全クリティカルな推論ワークロードにおいて、小さなデバイスのバリエーションであっても、不均等に高い精度の劣化と破滅的な失敗を引き起こす可能性があることを示す。
SWIMは選択的な書き込み検証機構であり、最も影響の大きい場所のみに戦略的に検証を適用する。
最後に、学習中心のソリューションについて検討し、右利きノイズのあるネットワークをトレーニングすることで、現実的な最悪のパフォーマンスを改善する。
論文 参考訳（メタデータ） (2026-03-03T20:08:25Z) - Towards Secure and Efficient DNN Accelerators via Hardware-Software Co-Design [18.80243704372307]
本稿では、最小限のオーバーヘッドで、ディープニューラルネットワーク(DNN)アクセラレーターのためのセキュアで効率的なメモリ保護フレームワークを提案する。
まず、メモリトラフィックパターンに基づいて、暗号化の粒度に適応する帯域幅対応暗号方式を提案する。
第2に、層内スライディングウインドウパターンの重なり合う領域と層間タイリング戦略の相違から生じる領域の両方が、かなりの冗長なメモリアクセスをもたらすことを観察する。
第3に、不要なオフチップメモリアクセスを効果的に排除し、性能とエネルギー効率を向上させるマルチレベル認証機構を導入する。
論文 参考訳（メタデータ） (2026-02-24T03:49:12Z) - Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model [60.60587869092729]
大規模言語モデル(LLM)は、ソフトウェア開発でますます使われているが、安全でないコードを生成する傾向は、現実世界のデプロイメントにとって大きな障壁である。
機能保存型セキュアコード生成のためのオンライン強化学習フレームワークSecCoderXを提案する。
論文 参考訳（メタデータ） (2026-02-07T07:42:07Z) - Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。
しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。
本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-04T07:47:18Z) - Securing Transformer-based AI Execution via Unified TEEs and Crypto-protected Accelerators [19.93096649006403]
マシンラーニングは信頼できないクラウドインフラストラクチャ上で動作し、データとモデルを潜在的な侵害に晒す。
信頼された実行環境(TEE)内で完全にモデル推論を実行すると、非自明なスローダウンが発生する。
異種TEEおよびアクセラレータシステムにおけるセキュアトランスフォーマー推論を実現するフレームワークであるTwinShieldを提案する。
論文 参考訳（メタデータ） (2025-07-04T03:52:53Z) - Overlapping Error Correction Codes on Two-Dimensional Structures [0.0]
本研究では、重なり合うデータ領域によって誤り訂正符号(ECC)を強化する手法を提案する。
このアプローチは、2次元構造で構成された複数のECCで同じデータ領域を保護することで構成される。
重なり合うECCの異なる構成を解析し、エラー検出と修正能力、スケーラビリティ、信頼性に関する提案を評価した。
論文 参考訳（メタデータ） (2025-04-16T14:53:12Z) - Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。
信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
論文 参考訳（メタデータ） (2024-06-29T02:40:28Z) - Practical Conformer: Optimizing size, speed and flops of Conformer for
on-Device and cloud ASR [67.63332492134332]
我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。
提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
論文 参考訳（メタデータ） (2023-03-31T23:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。