論文の概要: Noise Injection Node Regularization for Robust Learning

• arxiv url: http://arxiv.org/abs/2210.15764v1
• Date: Thu, 27 Oct 2022 20:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 15:13:50.597370
• Title: Noise Injection Node Regularization for Robust Learning
• Title（参考訳）: ロバスト学習のためのノイズ注入ノード規則化
• Authors: Noam Levi, Itay M. Bloch, Marat Freytsis, Tomer Volansky
• Abstract要約: ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。 本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Noise Injection Node Regularization (NINR), a method of injecting structured noise into Deep Neural Networks (DNN) during the training stage, resulting in an emergent regularizing effect. We present theoretical and empirical evidence for substantial improvement in robustness against various test data perturbations for feed-forward DNNs when trained under NINR. The novelty in our approach comes from the interplay of adaptive noise injection and initialization conditions such that noise is the dominant driver of dynamics at the start of training. As it simply requires the addition of external nodes without altering the existing network structure or optimization algorithms, this method can be easily incorporated into many standard problem specifications. We find improved stability against a number of data perturbations, including domain shifts, with the most dramatic improvement obtained for unstructured noise, where our technique outperforms other existing methods such as Dropout or $L_2$ regularization, in some cases. We further show that desirable generalization properties on clean data are generally maintained.
• Abstract（参考訳）: 本研究では,ニューラルネットワーク(dnn)の学習段階で構造的ノイズを注入する手法であるノイズ注入ノード正則化(ninr)を導入し,創発的正則化効果をもたらす。 本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。 このアプローチの目新しさは,適応型ノイズ注入と初期化条件の相互作用によるものである。 既存のネットワーク構造や最適化アルゴリズムを変更することなく、単に外部ノードの追加を必要とするため、この手法は多くの標準問題仕様に簡単に組み込むことができる。 非構造化ノイズに対する最も劇的な改善は、ドメインシフトを含む多くのデータ摂動に対する安定性の向上であり、この手法は、ドロップアウトや$l_2$正規化といった他の既存の方法よりも優れています。 さらに、クリーンデータに対する望ましい一般化特性が一般に維持されていることを示す。

関連論文リスト

• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [89.49600182243306]
  我々は拡散モデルを用いて再構成過程をノイズ・ツー・ノームパラダイムに再構成する。 本稿では,拡散モデルにおける従来の反復的復調よりもはるかに高速な高速な一段階復調パラダイムを提案する。 セグメント化サブネットワークは、入力画像とその異常のない復元を用いて画素レベルの異常スコアを予測する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• Noise Injection as a Probe of Deep Learning Dynamics [0.0]
  ノイズインジェクションノード(NIN)を用いたシステム摂動により,ディープニューラルネットワーク(DNN)の学習メカニズムを探索する新しい手法を提案する。 このシステムは,音の音量によって予測される訓練中に異なる位相を呈することがわかった。 ノイズノードの進化は、乱れのない損失のそれと似ており、NINを使って将来、完全なシステムについてより深く学ぶ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-24T20:51:59Z)
• Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise [22.690064709532873]
  入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-03T16:45:05Z)
• Noisy Recurrent Neural Networks [45.94390701863504]
  入力データによって駆動される微分方程式の離散化として,隠れ状態に雑音を注入することによって訓練されたリカレントニューラルネットワーク(RNN)について検討する。 合理的な仮定の下では、この暗黙の正則化はより平坦なミニマムを促進し、より安定な力学を持つモデルに偏りを呈し、分類タスクではより大きな分類マージンを持つモデルを好む。 本理論は, 各種入力摂動に対するロバスト性の向上と, 最先端性能の維持を両立させる実証実験により支持された。
  論文  参考訳（メタデータ） (2021-02-09T15:20:50Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。