論文の概要: Sharpness-Aware Training for Accurate Inference on Noisy DNN Accelerators

• arxiv url: http://arxiv.org/abs/2211.11561v1
• Date: Fri, 18 Nov 2022 16:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:28:23.041506
• Title: Sharpness-Aware Training for Accurate Inference on Noisy DNN Accelerators
• Title（参考訳）: ノイズdnn加速器の高精度推定のためのシャープネスアウェアトレーニング
• Authors: Gon\c{c}alo Mordido, Sarath Chandar, Fran\c{c}ois Leduc-Primeau
• Abstract要約: ディープニューラルネットワーク(DNN)アクセラレータは、推論時にパフォーマンスを低下させる非イデオロギーの傾向がある。 既存の手法では、トレーニング中にDNNの重み付けに摂動を加え、ノイズの多いハードウェアでの推論をシミュレートする。 損失値と損失シャープネスの両方を最適化することにより、シャープネスを意識したトレーニングを適用することにより、推論時にノイズの多いハードウェアに対するロバスト性を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 12.289172641024674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Energy-efficient deep neural network (DNN) accelerators are prone to non-idealities that degrade DNN performance at inference time. To mitigate such degradation, existing methods typically add perturbations to the DNN weights during training to simulate inference on noisy hardware. However, this often requires knowledge about the target hardware and leads to a trade-off between DNN performance and robustness, decreasing the former to increase the latter. In this work, we show that applying sharpness-aware training by optimizing for both the loss value and the loss sharpness significantly improves robustness to noisy hardware at inference time while also increasing DNN performance. We further motivate our results by showing a high correlation between loss sharpness and model robustness. We show superior performance compared to injecting noise during training and aggressive weight clipping on multiple architectures, optimizers, datasets, and training regimes without relying on any assumptions about the target hardware. This is observed on a generic noise model as well as on accurate noise simulations from real hardware.
• Abstract（参考訳）: エネルギー効率の高いディープニューラルネットワーク(DNN)アクセラレータは、推論時にDNNのパフォーマンスを低下させる非イデアリティの傾向がある。 このような劣化を軽減するため、既存の手法はトレーニング中にDNNの重み付けに摂動を加え、ノイズの多いハードウェアでの推論をシミュレートする。 しかし、これはしばしばターゲットハードウェアに関する知識を必要とし、DNNの性能と堅牢性の間にトレードオフをもたらし、後者を増やすために前者を減らす。 本研究では,損失値と損失シャープ性の両方を最適化してシャープネスアウェアトレーニングを行うことにより,推定時のノイズハードウェアに対するロバスト性を大幅に向上するとともに,dnn性能も向上することを示す。 さらに,損失シャープネスとモデルロバストネスとの間に高い相関関係を示すことによって,結果のモチベーションを高める。 我々は,複数のアーキテクチャ,オプティマイザ,データセット,トレーニングレジームに対して,トレーニング中にノイズを注入するよりも優れた性能を示す。 これは、一般的なノイズモデルや、実際のハードウェアからの正確なノイズシミュレーションで観測される。

関連論文リスト

• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• Compute-in-Memory based Neural Network Accelerators for Safety-Critical Systems: Worst-Case Scenarios and Protections [8.813981342105151]
  本稿では,CiM加速器の最悪の性能をデバイス変動の影響で特定する問題について検討する。 本稿では,対向訓練とノイズ注入訓練を効果的に組み合わせた,A-TRICEという新たな最悪の事例認識訓練手法を提案する。 実験の結果,A-TRICEは機器の変量下での最悪のケース精度を最大33%向上することがわかった。
  論文  参考訳（メタデータ） (2023-12-11T05:56:00Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing [3.9488615467284225]
  アナログクロスバーのようなインメモリコンピューティング(IMC)プラットフォームは、低精度のディープニューラルネットワーク(DNN)を高い面積と計算効率で加速する上で、注目されている。 クロスバーの固有の非イデオロギーは、しばしば非決定的で非線形であり、デプロイされたDNNの性能を低下させる。 本研究は, アナログクロスバーのドット積操作における非イデアル性に起因する歪みについて検討することを目的とする。
  論文  参考訳（メタデータ） (2023-05-28T19:07:25Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• {\delta}-SAM: Sharpness-Aware Minimization with Dynamic Reweighting [17.50856935207308]
  対人訓練は、敵に選択された摂動の上にある損失の変化を規則化し、一般化を改善する効果を示した。 最近提案されたシャープネス対応最小化(SAM)アルゴリズムは、逆方向の重みの摂動を採用し、モデルが平坦なミニマに収束することを奨励する。 本稿では,各バッチ内の動的再重み付き摂動について,非ガード型インスタンスが高重み付きである場合,インスタンスごとの摂動より優れた近似法として機能することを提案する。
  論文  参考訳（メタデータ） (2021-12-16T10:36:35Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。