論文の概要: Impact of L1 Batch Normalization on Analog Noise Resistant Property of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2205.04886v1
• Date: Sat, 7 May 2022 22:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 19:29:43.658431
• Title: Impact of L1 Batch Normalization on Analog Noise Resistant Property of Deep Learning Models
• Title（参考訳）: ディープラーニングモデルのアナログノイズ抵抗性に及ぼすL1バッチ正規化の影響
• Authors: Omobayode Fagbohungbe and Lijun Qian
• Abstract要約: 本研究では, 耐雑音性に優れたディープニューラルネットワーク(DNN)モデルの設計におけるL1型やTopK BatchNorm型の使用を提案する。 その結果, モデル重量に添加音を注入し, ノイズによる新しいモデル推定精度を評価することにより, モデル耐雑音性を検証した。 その結果,L1型とTopK BatchNorm型は耐雑音性に優れており,BatchNorm型がL2からL1/TopK BatchNorm型に変更されたため,性能上の犠牲はないことがわかった。
• 参考スコア（独自算出の注目度）: 3.520496620951778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog hardware has become a popular choice for machine learning on resource-constrained devices recently due to its fast execution and energy efficiency. However, the inherent presence of noise in analog hardware and the negative impact of the noise on deployed deep neural network (DNN) models limit their usage. The degradation in performance due to the noise calls for the novel design of DNN models that have excellent noiseresistant property, leveraging the properties of the fundamental building block of DNN models. In this work, the use of L1 or TopK BatchNorm type, a fundamental DNN model building block, in designing DNN models with excellent noise-resistant property is proposed. Specifically, a systematic study has been carried out by training DNN models with L1/TopK BatchNorm type, and the performance is compared with DNN models with L2 BatchNorm types. The resulting model noise-resistant property is tested by injecting additive noise to the model weights and evaluating the new model inference accuracy due to the noise. The results show that L1 and TopK BatchNorm type has excellent noise-resistant property, and there is no sacrifice in performance due to the change in the BatchNorm type from L2 to L1/TopK BatchNorm type.
• Abstract（参考訳）: アナログハードウェアは、高速実行とエネルギー効率のため、リソースに制約のあるデバイス上での機械学習に人気がある。 しかし、アナログハードウェアに固有のノイズの存在と、デプロイされたディープニューラルネットワーク(DNN)モデルに対するノイズの負の影響は、使用を制限している。 ノイズによる性能劣化は, 耐雑音性に優れたDNNモデルの新規設計を必要とし, 基本構造ブロックの特性を活用している。 本研究では, 耐雑音性に優れたDNNモデルの設計において, 基本的DNNモデル構築ブロックであるL1またはTopK BatchNorm型を用いることを提案する。 具体的には、L1/TopK BatchNorm型でDNNモデルを訓練し、L2 BatchNorm型でDNNモデルと比較した。 モデル重みに付加ノイズを注入し、ノイズによる新しいモデル推定精度を評価することにより、モデル耐雑音性をテストする。 その結果,L1型とTopK BatchNorm型は耐雑音性に優れており,BatchNorm型がL2からL1/TopK BatchNorm型に変更されたため,性能上の犠牲はないことがわかった。

関連論文リスト

• sVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks [51.516451451719654]
  スパイキングニューラルネットワーク(SNN)は生物学的に妥当で、電力効率が高いことが知られている。 本稿では sVAD と呼ばれる新しい SNN ベースの音声活動検出モデルを提案する。 SincNetと1D畳み込みによる効果的な聴覚特徴表現を提供し、アテンション機構による雑音の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-09T02:55:44Z)
• Noise Sensitivity and Stability of Deep Neural Networks for Binary Classification [0.9438207505148947]
  一般的なDNNモデルで表されるブール関数のある種の列がノイズ感受性かノイズ安定かを問う。 DNNモデルの自然ランダム性のため、これらの概念は熱処理および焼成バージョンに拡張される。 ガウス重みを始点とする2つの標準DNNアーキテクチャ(完全連結モデルと畳み込みモデル)の特性について検討する。
  論文  参考訳（メタデータ） (2023-08-18T08:09:31Z)
• Variational Positive-incentive Noise: How Noise Benefits Models [84.67629229767047]
  正感雑音(Pi-Noise)の枠組みに基づくランダムノイズによる古典モデルの利点について検討する。 Pi-Noiseの理想的目的は難易度が高いため,その代わりに変分境界,すなわち変分Pi-Noise(VPN)を最適化することを提案する。
  論文  参考訳（メタデータ） (2023-06-13T09:43:32Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models [3.520496620951778]
  モデルの重みに変化をもたらすアナログノイズの存在が、ディープラーニングモデルの性能劣化を引き起こすという懸念がある。 本研究では,一般的なバッチ正規化層がディープラーニングモデルの耐雑音性に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2022-05-15T20:10:21Z)
• Impact of Learning Rate on Noise Resistant Property of Deep Learning Models [3.520496620951778]
  この研究は、まず異なる学習率を用いてディープラーニングモデルを訓練することで達成される。 アナログノイズによる性能劣化の測定により, 結果モデルの耐雑音性について検討した。 その結果,モデル予測性能とモデル雑音耐性特性とのバランスが良好である学習速度値のスイートスポットが存在することがわかった。
  論文  参考訳（メタデータ） (2022-05-08T00:16:09Z)
• C2N: Practical Generative Noise Modeling for Real-World Denoising [53.96391787869974]
  両例を使わずに複雑な実世界の騒音を模倣するクリーン・ツー・ノイズ画像生成フレームワーク,すなわちC2Nを導入する。 我々は,C2Nの騒音発生器を実世界の騒音特性の成分に応じて構築し,広い範囲の騒音を正確に表現する。
  論文  参考訳（メタデータ） (2022-02-19T05:53:46Z)
• Denoising Noisy Neural Networks: A Bayesian Approach with Compensation [36.39188653838991]
  ノイズニューラルネット(ノイズニューラルネット、Noisy Neural Network)は、ノイズの存在下でのNNの推測と訓練を指す。 本報告では, ノイズや症状から未汚染NN重量を推定する方法について検討する。
  論文  参考訳（メタデータ） (2021-05-22T11:51:20Z)
• Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise [22.690064709532873]
  入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-03T16:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。