論文の概要: Impact of Learning Rate on Noise Resistant Property of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2205.07856v1
• Date: Sun, 8 May 2022 00:16:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-22 11:43:56.892032
• Title: Impact of Learning Rate on Noise Resistant Property of Deep Learning Models
• Title（参考訳）: 深層学習モデルの耐雑音性に及ぼす学習速度の影響
• Authors: Omobayode Fagbohungbe and Lijun Qian
• Abstract要約: この研究は、まず異なる学習率を用いてディープラーニングモデルを訓練することで達成される。 アナログノイズによる性能劣化の測定により, 結果モデルの耐雑音性について検討した。 その結果,モデル予測性能とモデル雑音耐性特性とのバランスが良好である学習速度値のスイートスポットが存在することがわかった。
• 参考スコア（独自算出の注目度）: 3.520496620951778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The interest in analog computation has grown tremendously in recent years due to its fast computation speed and excellent energy efficiency, which is very important for edge and IoT devices in the sub-watt power envelope for deep learning inferencing. However, significant performance degradation suffered by deep learning models due to the inherent noise present in the analog computation can limit their use in mission-critical applications. Hence, there is a need to understand the impact of critical model hyperparameters choice on the resulting model noise-resistant property. This need is critical as the insight obtained can be used to design deep learning models that are robust to analog noise. In this paper, the impact of the learning rate, a critical design choice, on the noise-resistant property is investigated. The study is achieved by first training deep learning models using different learning rates. Thereafter, the models are injected with analog noise and the noise-resistant property of the resulting models is examined by measuring the performance degradation due to the analog noise. The results showed there exists a sweet spot of learning rate values that achieves a good balance between model prediction performance and model noise-resistant property. Furthermore, the theoretical justification of the observed phenomenon is provided.
• Abstract（参考訳）: アナログ計算への関心は、その高速な計算速度と優れたエネルギー効率により、近年急速に高まり、ディープラーニング推論のためのサブワットパワーエンベロープにおけるエッジやIoTデバイスにとって非常に重要である。 しかし、アナログ計算における固有ノイズによるディープラーニングモデルによる顕著な性能劣化は、ミッションクリティカルなアプリケーションでの使用を制限することができる。 したがって、臨界モデルハイパーパラメータの選択がモデルノイズ耐性特性に与える影響を理解する必要がある。 このニーズは、得られた洞察がアナログノイズにロバストなディープラーニングモデルの設計に使用できるため、非常に重要である。 本稿では,学習率,重要な設計選択が耐雑音性に及ぼす影響について検討する。 この研究は、まず異なる学習率でディープラーニングモデルをトレーニングすることで達成される。 その後、モデルにアナログノイズを注入し、アナログノイズによる性能劣化を測定することにより、結果モデルの耐雑音性を検討した。 その結果,モデル予測性能とモデル雑音耐性特性とのバランスが良好である学習速度値のスイートスポットが存在することがわかった。 さらに、観測現象の理論的正当性も提供する。

関連論文リスト

• Towards Robust Transcription: Exploring Noise Injection Strategies for Training Data Augmentation [55.752737615873464]
  本研究では,SNR(Signal-to-Noise Ratio)レベルにおける白色雑音の影響について検討した。 この研究は、様々な音環境における一貫した性能を維持する転写モデルの開発に向けた予備的な研究として、貴重な洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-10-18T02:31:36Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Comparative Study on the Effects of Noise in ML-Based Anxiety Detection [0.0]
  ノイズがモデル性能にどのように影響するかを考察し、ノイズの多い実環境に頑健なモデルを開発する。 生理的覚醒のレベルを分類する機械学習モデルにおいて,様々なノイズの強度が与える影響を比較した。
  論文  参考訳（メタデータ） (2023-06-01T19:52:24Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• A Study of Deep CNN Model with Labeling Noise Based on Granular-ball Computing [0.0]
  グラニュラーボールコンピューティングは効率的で堅牢でスケーラブルな学習方法である。 本稿では,モデル学習において,多粒性ラベルノイズサンプルをフィルタするグラニュラーニューラルネットワークモデルを考案した。
  論文  参考訳（メタデータ） (2022-07-17T13:58:46Z)
• Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models [3.520496620951778]
  モデルの重みに変化をもたらすアナログノイズの存在が、ディープラーニングモデルの性能劣化を引き起こすという懸念がある。 本研究では,一般的なバッチ正規化層がディープラーニングモデルの耐雑音性に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2022-05-15T20:10:21Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Benchmarking Inference Performance of Deep Learning Models on Analog Devices [3.520496620951778]
  VGGのような設計上の冗長性が高いより深いモデルやモデルは、一般的なノイズに対してより堅牢である。 パフォーマンスは、モデルの設計哲学、モデルの詳細な構造、正確な機械学習タスク、およびデータセットの影響も受けています。
  論文  参考訳（メタデータ） (2020-11-24T02:14:39Z)
• From Sound Representation to Model Robustness [82.21746840893658]
  本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。