論文の概要: Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization

• arxiv url: http://arxiv.org/abs/2007.03230v2
• Date: Tue, 24 Nov 2020 05:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 19:06:52.638092
• Title: Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization
• Title（参考訳）: 雑音認識正規化によるロバスト処理インメモリニューラルネットワーク
• Authors: Li-Huang Tsai, Shih-Chieh Chang, Yu-Ting Chen, Jia-Yu Pan, Wei Wei and Da-Cheng Juan
• Abstract要約: PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
• 参考スコア（独自算出の注目度）: 26.270754571140735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog computing hardwares, such as Processing-in-memory (PIM) accelerators, have gradually received more attention for accelerating the neural network computations. However, PIM accelerators often suffer from intrinsic noise in the physical components, making it challenging for neural network models to achieve the same performance as on the digital hardware. Previous works in mitigating intrinsic noise assumed the knowledge of the noise model, and retraining the neural networks accordingly was required. In this paper, we propose a noise-agnostic method to achieve robust neural network performance against any noise setting. Our key observation is that the degradation of performance is due to the distribution shifts in network activations, which are caused by the noise. To properly track the shifts and calibrate the biased distributions, we propose a "noise-aware" batch normalization layer, which is able to align the distributions of the activations under variational noise inherent in the analog environments. Our method is simple, easy to implement, general to various noise settings, and does not need to retrain the models. We conduct experiments on several tasks in computer vision, including classification, object detection and semantic segmentation. The results demonstrate the effectiveness of our method, achieving robust performance under a wide range of noise settings, more reliable than existing methods. We believe that our simple yet general method can facilitate the adoption of analog computing devices for neural networks.
• Abstract（参考訳）: プロセッシング・イン・メモリ(PIM)アクセラレーターのようなアナログコンピューティングハードウェアは、ニューラルネットワークの計算を加速するために徐々に注目を集めている。 しかしながら、PIMアクセラレータは物理的コンポーネントの固有のノイズに悩まされることが多く、ニューラルネットワークモデルがデジタルハードウェアと同じパフォーマンスを達成することは困難である。 先行研究である本質的雑音の緩和はノイズモデルに関する知識を仮定し、それに従ってニューラルネットワークを再訓練することが必要であった。 本稿では,任意の雑音に対して頑健なニューラルネットワーク性能を実現するための雑音非依存手法を提案する。 我々のキーとなる観察は、性能の劣化は、ノイズに起因するネットワーク活性化の分布シフトによるものである。 シフトを適切に追跡し、バイアス分布を校正するために、アナログ環境に固有の変動雑音下でのアクティベーションの分布を調整可能な「ノイズ認識」バッチ正規化層を提案する。 本手法は単純で実装が容易で,様々なノイズ設定が一般的であり,モデルの再トレーニングは不要である。 分類,物体検出,意味セグメンテーションなど,コンピュータビジョンにおけるいくつかのタスクについて実験を行う。 提案手法の有効性を実証し,従来の手法よりも信頼性が高く,幅広い騒音条件下で頑健な性能を実現する。 我々の単純な一般的な手法は、ニューラルネットワークに対するアナログコンピューティングデバイスの採用を促進することができると信じている。

関連論文リスト

• Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
  ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。 我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
  論文  参考訳（メタデータ） (2024-11-07T01:21:12Z)
• sVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks [51.516451451719654]
  スパイキングニューラルネットワーク(SNN)は生物学的に妥当で、電力効率が高いことが知られている。 本稿では sVAD と呼ばれる新しい SNN ベースの音声活動検出モデルを提案する。 SincNetと1D畳み込みによる効果的な聴覚特徴表現を提供し、アテンション機構による雑音の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-09T02:55:44Z)
• Degradation-Noise-Aware Deep Unfolding Transformer for Hyperspectral Image Denoising [9.119226249676501]
  ハイパースペクトル画像(HSI)は、帯域幅が狭いため、ノイズが多いことが多い。 HSIデータキューブのノイズを低減するため、モデル駆動型と学習型の両方の復調アルゴリズムが提案されている。 本稿では,これらの問題に対処するDNA-Net(Degradation-Noise-Aware Unfolding Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-06T13:28:20Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
  入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。 本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
  論文  参考訳（メタデータ） (2022-10-03T14:00:41Z)
• Multi-stage image denoising with the wavelet transform [125.2251438120701]
  深部畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、正確な構造情報を自動マイニングすることで、画像の復調に使用される。 動的畳み込みブロック(DCB)、2つのカスケードウェーブレット変換および拡張ブロック(WEB)、残留ブロック(RB)の3段階を経由した、MWDCNNによるCNNの多段階化を提案する。
  論文  参考訳（メタデータ） (2022-09-26T03:28:23Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Understanding and mitigating noise in trained deep neural networks [0.0]
  学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。 ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。 我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
  論文  参考訳（メタデータ） (2021-03-12T17:16:26Z)
• Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation [12.30062870698165]
  ノイズの多いニューラルネットワークが、入力と出力の相互情報を失うことによって、学習能力を減らしたことを示す。 そこで本研究では,学習中に知識蒸留とノイズ注入を併用して,より高ノイズロバストなネットワークを実現することを提案する。 提案手法は,従来の最良試行の2倍の耐雑音性を有するモデルを実現する。
  論文  参考訳（メタデータ） (2020-01-14T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。