論文の概要: Noise Injection as a Probe of Deep Learning Dynamics
- arxiv url: http://arxiv.org/abs/2210.13599v1
- Date: Mon, 24 Oct 2022 20:51:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:03:24.218826
- Title: Noise Injection as a Probe of Deep Learning Dynamics
- Title（参考訳）: 深層学習ダイナミクスのプローブとしてのノイズインジェクション
- Authors: Noam Levi, Itay Bloch, Marat Freytsis, Tomer Volansky
- Abstract要約: ノイズインジェクションノード(NIN)を用いたシステム摂動により,ディープニューラルネットワーク(DNN)の学習メカニズムを探索する新しい手法を提案する。
このシステムは,音の音量によって予測される訓練中に異なる位相を呈することがわかった。
ノイズノードの進化は、乱れのない損失のそれと似ており、NINを使って将来、完全なシステムについてより深く学ぶ可能性を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new method to probe the learning mechanism of Deep Neural
Networks (DNN) by perturbing the system using Noise Injection Nodes (NINs).
These nodes inject uncorrelated noise via additional optimizable weights to
existing feed-forward network architectures, without changing the optimization
algorithm. We find that the system displays distinct phases during training,
dictated by the scale of injected noise. We first derive expressions for the
dynamics of the network and utilize a simple linear model as a test case. We
find that in some cases, the evolution of the noise nodes is similar to that of
the unperturbed loss, thus indicating the possibility of using NINs to learn
more about the full system in the future.
- Abstract（参考訳）: 本研究では,ノイズ注入ノード(NIN)を用いたシステム摂動により,ディープニューラルネットワーク(DNN)の学習メカニズムを探索する手法を提案する。
これらのノードは、最適化アルゴリズムを変更することなく、既存のフィードフォワードネットワークアーキテクチャに追加の最適化可能な重みによる非相関ノイズを注入する。
このシステムは,音の音量によって予測される訓練中に異なる位相を呈することがわかった。
まず,ネットワークのダイナミクスを表す表現を導出し,テストケースとして単純な線形モデルを用いる。
ノイズノードの進化は乱れのない損失と類似している場合もあり,NINを用いて将来,システム全体についてより深く学ぶことが可能であることが示唆される。
関連論文リスト
- NoisyNN: Exploring the Influence of Information Entropy Change in
Learning Systems [25.05692528736342]
本研究では,特定の条件下での各種深層建築物の性能向上効果を示す。
ノイズが作業の複雑さを軽減するのに役立つかどうかに基づいて、ノイズを正ノイズ(PN)と有害ノイズ(HN)の2つのタイプに分類する。
論文 参考訳（メタデータ） (2023-09-19T14:04:04Z) - Training neural networks with structured noise improves classification and generalization [0.0]
ノイズの多いトレーニングデータに構造を加えることで,アルゴリズムの性能が大幅に向上することを示す。
また,Hebbian Unlearning(ヘビアン・アンラーニング・ルール)と呼ばれる規則は,雑音が最大値である場合のトレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
論文 参考訳（メタデータ） (2023-02-26T22:10:23Z) - Physics-informed Neural Networks with Unknown Measurement Noise [0.6906005491572401]
非ガウス雑音の場合、標準のPINNフレームワークが故障することを示す。
本稿では,エネルギーベースモデル(EBM)を共同で学習し,適切な雑音分布を学習することを提案する。
論文 参考訳（メタデータ） (2022-11-28T16:17:47Z) - Noise Injection Node Regularization for Robust Learning [0.0]
ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。
本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
論文 参考訳（メタデータ） (2022-10-27T20:51:15Z) - Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。
この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。
そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
論文 参考訳（メタデータ） (2021-02-13T21:28:09Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。
対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。
また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
論文 参考訳（メタデータ） (2021-01-06T03:05:37Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳（メタデータ） (2020-11-17T12:52:18Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳（メタデータ） (2020-07-07T06:51:28Z) - Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。
アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。
また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文 参考訳（メタデータ） (2020-06-21T11:00:04Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。