論文の概要: Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators

• arxiv url: http://arxiv.org/abs/2409.18553v1
• Date: Fri, 27 Sep 2024 08:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 21:55:30.184642
• Title: Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators
• Title（参考訳）: 混合信号加速器におけるDNNの推論精度向上のための高効率ノイズ低減
• Authors: Seyedarmin Azizi, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram,
• Abstract要約: 我々は、アナログニューラルネットワークの精度に基づいて、プロセス誘起および老化に関連するアナログコンピューティングコンポーネントのバリエーションをモデル化する。 事前学習モデルの選択した層間に挿入された遮音ブロックを導入する。 雑音レベルに対するモデルのロバスト性を大幅に向上させることを実証した。
• 参考スコア（独自算出の注目度）: 4.416800723562206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a framework to enhance the robustness of the neural models by mitigating the effects of process-induced and aging-related variations of analog computing components on the accuracy of the analog neural networks. We model these variations as the noise affecting the precision of the activations and introduce a denoising block inserted between selected layers of a pre-trained model. We demonstrate that training the denoising block significantly increases the model's robustness against various noise levels. To minimize the overhead associated with adding these blocks, we present an exploration algorithm to identify optimal insertion points for the denoising blocks. Additionally, we propose a specialized architecture to efficiently execute the denoising blocks, which can be integrated into mixed-signal accelerators. We evaluate the effectiveness of our approach using Deep Neural Network (DNN) models trained on the ImageNet and CIFAR-10 datasets. The results show that on average, by accepting 2.03% parameter count overhead, the accuracy drop due to the variations reduces from 31.7% to 1.15%.
• Abstract（参考訳）: 本稿では,アナログニューラルネットワークの精度に及ぼすプロセス誘起および老化関連成分の影響を緩和し,ニューラルネットワークの堅牢性を高める枠組みを提案する。 我々は,これらの変動を,アクティベーションの精度に影響を与えるノイズとしてモデル化し,事前学習モデルの選択層間を挿入する遮音ブロックを導入する。 雑音レベルに対するモデルのロバスト性を大幅に向上させることを実証した。 これらのブロックの追加に伴うオーバーヘッドを最小限に抑えるために,これらのブロックに対する最適な挿入点を特定する探索アルゴリズムを提案する。 さらに,混合信号加速器に組み込むことのできるデノナイジングブロックを効率的に実行するための特殊なアーキテクチャを提案する。 我々は、ImageNetとCIFAR-10データセットに基づいて訓練されたディープニューラルネットワーク(DNN)モデルを用いて、アプローチの有効性を評価する。 その結果、平均して2.03%のパラメータカウントのオーバーヘッドを受け入れることで、変動による精度の低下が31.7%から1.15%に減少することがわかった。

関連論文リスト

• Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
  低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。 これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。 まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。 次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
  論文  参考訳（メタデータ） (2023-05-17T13:56:48Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Multi-stage image denoising with the wavelet transform [125.2251438120701]
  深部畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、正確な構造情報を自動マイニングすることで、画像の復調に使用される。 動的畳み込みブロック(DCB)、2つのカスケードウェーブレット変換および拡張ブロック(WEB)、残留ブロック(RB)の3段階を経由した、MWDCNNによるCNNの多段階化を提案する。
  論文  参考訳（メタデータ） (2022-09-26T03:28:23Z)
• Guided Diffusion Model for Adversarial Purification [103.4596751105955]
  敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。 本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。 様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
  論文  参考訳（メタデータ） (2022-05-30T10:11:15Z)
• MANet: Improving Video Denoising with a Multi-Alignment Network [72.93429911044903]
  本稿では,複数フローの提案とアテンションに基づく平均化を行うマルチアライメントネットワークを提案する。 大規模ビデオデータセットを用いた実験により,本手法は調音ベースラインモデルを0.2dBで改善することを示した。
  論文  参考訳（メタデータ） (2022-02-20T00:52:07Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Image Denoising using Attention-Residual Convolutional Neural Networks [0.0]
  本稿では,学習に基づく新たな非盲検手法であるAttention Residual Convolutional Neural Network (ARCNN)を提案し,その拡張としてFlexible Attention Residual Convolutional Neural Network (FARCNN)を提案する。 ARCNNはガウス語とポアソン語で約0.44dBと0.96dBの平均PSNR結果を達成し、FARCNNはARCNNに比べて若干パフォーマンスが悪くても非常に一貫した結果を示した。
  論文  参考訳（メタデータ） (2021-01-19T16:37:57Z)
• Improved Detection of Adversarial Images Using Deep Neural Networks [2.3993545400014873]
  近年の研究では、分類タスクに使用される機械学習モデルは、敵の例に弱いことが示されている。 本稿では,逆入力を検出するための特徴マップデノゲーションという新しい手法を提案する。 逆例からなる混合データセットにおける検出性能を示す。
  論文  参考訳（メタデータ） (2020-07-10T19:02:24Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。