論文の概要: Hessian-aware Training for Enhancing DNNs Resilience to Parameter Corruptions

• arxiv url: http://arxiv.org/abs/2504.01933v1
• Date: Wed, 02 Apr 2025 17:42:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:32.548432
• Title: Hessian-aware Training for Enhancing DNNs Resilience to Parameter Corruptions
• Title（参考訳）: パラメータ破壊に対するDNNのレジリエンス向上のためのヘシアン・アウェアトレーニング
• Authors: Tahmid Hasan Prato, Seijoon Kim, Lizhong Chen, Sanghyun Hong,
• Abstract要約: ディープニューラルネットワークはパラメータの破損に耐性がない。 メモリ内のパラメータの1ビット単位のエラーであっても、精度が10%以上低下する可能性がある。 この問題に対処する新たなアプローチとして,ビットワイドな汚職に対してより回復力のあるトレーニングモデルを提案する。
• 参考スコア（独自算出の注目度）: 7.768075429297461
• License:
• Abstract: Deep neural networks are not resilient to parameter corruptions: even a single-bitwise error in their parameters in memory can cause an accuracy drop of over 10%, and in the worst cases, up to 99%. This susceptibility poses great challenges in deploying models on computing platforms, where adversaries can induce bit-flips through software or bitwise corruptions may occur naturally. Most prior work addresses this issue with hardware or system-level approaches, such as integrating additional hardware components to verify a model's integrity at inference. However, these methods have not been widely deployed as they require infrastructure or platform-wide modifications. In this paper, we propose a new approach to addressing this issue: training models to be more resilient to bitwise corruptions to their parameters. Our approach, Hessian-aware training, promotes models with $flatter$ loss surfaces. We show that, while there have been training methods, designed to improve generalization through Hessian-based approaches, they do not enhance resilience to parameter corruptions. In contrast, models trained with our method demonstrate increased resilience to parameter corruptions, particularly with a 20$-$50% reduction in the number of bits whose individual flipping leads to a 90$-$100% accuracy drop. Moreover, we show the synergy between ours and existing hardware and system-level defenses.
• Abstract（参考訳）: ディープニューラルネットワークはパラメータの破損に耐性がない。メモリ内のパラメータの1ビット単位のエラーでさえ、精度が10%以上低下し、最悪の場合、最大99%まで低下する可能性がある。 この感受性は、ソフトウェアやビットワイドの汚職によって敵がビットフリップを誘導できるコンピューティングプラットフォームにモデルをデプロイする際の大きな課題となる。 ほとんどの以前の作業は、推論時のモデルの整合性を検証するために追加のハードウェアコンポーネントを統合するなど、ハードウェアまたはシステムレベルのアプローチでこの問題に対処する。 しかし、これらの手法はインフラやプラットフォーム全体の変更を必要とするため、広く展開されていない。 本稿では,この問題に対処する新たなアプローチを提案する。 我々のアプローチであるHessian-aware trainingは、損失面が$flatter$であるモデルを促進する。 ヘッセン系アプローチによる一般化を改善するためのトレーニング手法は存在するが,パラメータの破損に対するレジリエンスは向上していない。 対照的に,本手法を用いてトレーニングしたモデルでは,パラメータの破損に対するレジリエンスが向上し,特に個々のフリップが90ドル〜100%の精度低下につながるビット数が20ドル～50%削減された。 さらに,既存のハードウェアとシステムレベルの防衛の相乗効果を示す。

関連論文リスト

• FaultGuard: A Generative Approach to Resilient Fault Prediction in Smart Electrical Grids [53.2306792009435]
  FaultGuardは、障害タイプとゾーン分類のための最初のフレームワークであり、敵攻撃に耐性がある。 本稿では,ロバスト性を高めるために,低複雑性故障予測モデルとオンライン逆行訓練手法を提案する。 本モデルでは,耐故障予測ベンチマークの最先端を最大0.958の精度で上回っている。
  論文  参考訳（メタデータ） (2024-03-26T08:51:23Z)
• Efficient Verification-Based Face Identification [50.616875565173274]
  効率の良いニューラルモデルで顔認証を行う際の問題点を$f$で検討する。 我々のモデルは、23kパラメータと5M浮動小数点演算(FLOPS)しか必要としない、かなり小さな$f$に導かれる。 我々は、6つの顔認証データセットを用いて、我々の手法が最先端のモデルよりも同等か優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-20T18:08:02Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Towards Sparsified Federated Neuroimaging Models via Weight Pruning [13.0319103091844]
  FedSparsifyは、フェデレートトレーニング中にモデルプルーニングを実行する。 性能に影響を与えることなく、95%の間隔でモデルを刈り取ることができることを示す。 モデルプルーニングの驚くべきメリットのひとつは、モデルのプライバシを改善することだ。
  論文  参考訳（メタデータ） (2022-08-24T17:05:47Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
  オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。 このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
  論文  参考訳（メタデータ） (2022-02-02T19:00:21Z)
• Don't Knock! Rowhammer at the Backdoor of DNN Models [19.13129153353046]
  Rowhammerをフォールトインジェクション法として用いたモデル上で,実際のハードウェア上で実現したエンドツーエンドのバックドアインジェクション攻撃を提案する。 ハードウェアにおけるリアルなバックドアインジェクション攻撃を実現するために,制約付き最適化に基づく新しいネットワークトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-14T19:43:53Z)
• Network insensitivity to parameter noise via adversarial regularization [0.0]
  本稿では,学習中にネットワークパラメータを攻撃できる新しい対向的ネットワーク最適化アルゴリズムを提案する。 提案手法は,対象パラメータの変動に対してより堅牢なモデルを生成する。 私たちの研究は、計算非理想性に苦しむデバイスを推論するために、ニューラルネットワークアーキテクチャをデプロイするためのアプローチを提供します。
  論文  参考訳（メタデータ） (2021-06-09T12:11:55Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Dynamic R-CNN: Towards High Quality Object Detection via Dynamic Training [70.2914594796002]
  ラベル割り当て基準と回帰損失関数の形状を調整するための動的R-CNNを提案する。 我々はResNet-50-FPNベースラインを1.9%のAPと5.5%のAP$_90$で改善し、余分なオーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-04-13T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。