論文の概要: Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2205.07372v1
• Date: Sun, 15 May 2022 20:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 15:05:40.625519
• Title: Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models
• Title（参考訳）: 深層学習モデルの耐雑音性に及ぼすバッチ正規化の影響
• Authors: Omobayode Fagbohungbe and Lijun Qian
• Abstract要約: モデルの重みに変化をもたらすアナログノイズの存在が、ディープラーニングモデルの性能劣化を引き起こすという懸念がある。 本研究では,一般的なバッチ正規化層がディープラーニングモデルの耐雑音性に及ぼす影響について検討した。
• 参考スコア（独自算出の注目度）: 3.520496620951778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fast execution speed and energy efficiency of analog hardware has made them a strong contender for deployment of deep learning model at the edge. However, there are concerns about the presence of analog noise which causes changes to the weight of the models, leading to performance degradation of deep learning model, despite their inherent noise resistant characteristics. The effect of the popular batch normalization layer on the noise resistant ability of deep learning model is investigated in this work. This systematic study has been carried out by first training different models with and without batch normalization layer on CIFAR10 and CIFAR100 dataset. The weights of the resulting models are then injected with analog noise and the performance of the models on the test dataset is obtained and compared. The results show that the presence of batch normalization layer negatively impacts noise resistant property of deep learning model and the impact grows with the increase of the number of batch normalization layers.
• Abstract（参考訳）: アナログハードウェアの高速実行速度とエネルギ効率は、エッジにディープラーニングモデルを展開する上での強力な候補となっている。 しかし、モデル重量の変化を引き起こすアナログノイズの存在に懸念があり、固有のノイズ耐性特性にもかかわらず、ディープラーニングモデルの性能劣化につながっている。 本研究では,一般的なバッチ正規化層がディープラーニングモデルの耐雑音性に及ぼす影響について検討した。 この体系的な研究は、まずcifar10とcifar100データセットのバッチ正規化層を使わずに、異なるモデルをトレーニングすることで行われた。 そして、得られたモデルの重みをアナログノイズで注入し、テストデータセットにおけるモデルの性能を取得して比較する。 その結果,バッチ正規化層の存在が深層学習モデルの耐雑音性に悪影響を及ぼし,バッチ正規化層の増加とともに影響が増大することがわかった。

関連論文リスト

• Towards Robust Transcription: Exploring Noise Injection Strategies for Training Data Augmentation [55.752737615873464]
  本研究では,SNR(Signal-to-Noise Ratio)レベルにおける白色雑音の影響について検討した。 この研究は、様々な音環境における一貫した性能を維持する転写モデルの開発に向けた予備的な研究として、貴重な洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-10-18T02:31:36Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Comparative Study on the Effects of Noise in ML-Based Anxiety Detection [0.0]
  ノイズがモデル性能にどのように影響するかを考察し、ノイズの多い実環境に頑健なモデルを開発する。 生理的覚醒のレベルを分類する機械学習モデルにおいて,様々なノイズの強度が与える影響を比較した。
  論文  参考訳（メタデータ） (2023-06-01T19:52:24Z)
• An Investigation of Noise in Morphological Inflection [21.411766936034]
  本研究は, パイプライン内で発生するノイズの種類を, 真の教師なし形態素パラダイムの完成のために検討する。 異なる種類のノイズが複数の最先端インフレクションモデルに与える影響を比較した。 本稿では,文字レベルのマスク付き言語モデリング(CMLM)の事前学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:14:34Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [89.49600182243306]
  我々は拡散モデルを用いて再構成過程をノイズ・ツー・ノームパラダイムに再構成する。 本稿では,拡散モデルにおける従来の反復的復調よりもはるかに高速な高速な一段階復調パラダイムを提案する。 セグメント化サブネットワークは、入力画像とその異常のない復元を用いて画素レベルの異常スコアを予測する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Impact of Learning Rate on Noise Resistant Property of Deep Learning Models [3.520496620951778]
  この研究は、まず異なる学習率を用いてディープラーニングモデルを訓練することで達成される。 アナログノイズによる性能劣化の測定により, 結果モデルの耐雑音性について検討した。 その結果,モデル予測性能とモデル雑音耐性特性とのバランスが良好である学習速度値のスイートスポットが存在することがわかった。
  論文  参考訳（メタデータ） (2022-05-08T00:16:09Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Benchmarking Inference Performance of Deep Learning Models on Analog Devices [3.520496620951778]
  VGGのような設計上の冗長性が高いより深いモデルやモデルは、一般的なノイズに対してより堅牢である。 パフォーマンスは、モデルの設計哲学、モデルの詳細な構造、正確な機械学習タスク、およびデータセットの影響も受けています。
  論文  参考訳（メタデータ） (2020-11-24T02:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。