論文の概要: Internal noise in deep neural networks: interplay of depth, neuron number, and noise injection step

• arxiv url: http://arxiv.org/abs/2604.08117v1
• Date: Thu, 09 Apr 2026 11:36:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.887949
• Title: Internal noise in deep neural networks: interplay of depth, neuron number, and noise injection step
• Title（参考訳）: ディープニューラルネットワークにおける内部ノイズ:深度、ニューロン数、ノイズ注入ステップの相互作用
• Authors: D. A. Maksimov, V. M. Moskvitin, N. Semenova,
• Abstract要約: 本稿では,奥行きニューラルネットワークの性能に及ぼす内部ガウス雑音の影響について検討する。 アクティベーション関数の前後で導入された雑音を加法的および乗法的両方のノイズの影響で解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines the influence of internal Gaussian noise on the performance of deep feedforward neural networks, focusing on the role of the noise injection stage relative to the activation function. Two scenarios are analyzed: noise introduced before and after the activation function, for both additive and multiplicative noise influence. The case of noise before activation function is similar to perturbations in the input channel of neuron, while the noise introduced after activation function is analogous to noise occurring either within the neuron itself or in its output channel. The types of noise and the method of their introduction were inspired by analog neural networks. The results show that the activation function acts as an effective nonlinear filter of noise. Networks with noise introduced before the activation function consistently achieve higher accuracy than those with noise applied after it, with additive noise being more effectively suppressed in this case. For noise introduced after the activation function, multiplicative noise is less detrimental than additive noise, and earlier hidden layers contribute more significantly to performance degradation due to cumulative noise amplification governed by the statistical properties of subsequent weight matrices. The study also demonstrates that pooling-based noise reduction is effective in both cases when noise is introduced before and after the activation function, consistently improving network performance.
• Abstract（参考訳）: 本稿では, 奥行きニューラルネットワークの性能に及ぼす内部ガウス雑音の影響について検討し, アクティベーション関数に対するノイズ注入ステージの役割に着目した。 アクティベーション関数の前後で導入された雑音を加法的および乗法的両方のノイズの影響で解析する。 活性化機能前のノイズはニューロンの入力チャネルの摂動と似ているが、活性化機能後に発生するノイズはニューロン内部または出力チャネル内で発生するノイズと類似している。 ノイズの種類とその導入方法はアナログニューラルネットワークにインスパイアされた。 その結果, 活性化関数は有効非線形雑音フィルタとして機能することがわかった。 アクティベーション関数の前に導入されるノイズのあるネットワークは、それに続くノイズよりも常に高い精度を達成し、この場合、加算ノイズはより効果的に抑制される。 アクティベーション関数の後に発生する雑音に対して、乗算雑音は付加雑音よりも有害であり、初期の隠れ層は、その後の重み行列の統計的性質によって支配される累積雑音増幅による性能劣化に大きく寄与する。 また,アクティベーション関数の前後でノイズが発生する場合にも,プール方式のノイズ低減が有効であることを示し,ネットワーク性能を継続的に改善することを示した。

関連論文リスト

• Paradoxical noise preference in RNNs [0.0]
  生物学的ニューラルネットワークをモデル化するために使用されるリカレントニューラルネットワーク(RNN)では、通常、トレーニング中にノイズを導入し、生物学的多様性をエミュレートし、学習を規則化する。 連続時間リカレントニューラルネットワーク(CTRNN)は、非ゼロノイズレベル、特に、トレーニング中に使用されるものと同じレベルにおいて、よく機能する。 このノイズ嗜好は、ニューラルアクティベーション関数内でノイズが注入されたときに生じ、アクティベーション関数の外でノイズが注入された訓練されたネットワークは、ゼロノイズで最もよく機能する。
  論文  参考訳（メタデータ） (2026-01-08T03:11:51Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)
• Impact of internal noise on convolutional neural networks [0.0]
  単純化された畳み込みネットワークにおける雑音の影響について検討する。 非相関ノイズの伝搬は接続行列の統計的性質に依存する。 ネットワークの出力信号における雑音レベルの解析は,数値シミュレーションの結果と強い相関関係を示す。
  論文  参考訳（メタデータ） (2025-05-10T11:49:37Z)
• Internal noise in hardware deep and recurrent neural networks helps with learning [0.0]
  ニューラルネットワークのトレーニング中の内部ノイズは、リカレントおよびディープニューラルネットワークの最終性能に影響を与える。 ほとんどの場合、ディープ状態とエコー状態のネットワークは、トレーニング中の内部ノイズの恩恵を受ける。
  論文  参考訳（メタデータ） (2025-04-18T16:26:46Z)
• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
  ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。 我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
  論文  参考訳（メタデータ） (2024-11-07T01:21:12Z)
• Noise impact on recurrent neural network with linear activation function [0.0]
  エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。 ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。 ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
  論文  参考訳（メタデータ） (2023-03-23T13:43:05Z)
• Learning Noise via Dynamical Decoupling of Entangled Qubits [49.38020717064383]
  絡み合った量子系のノイズは、複数の自由度を含む多体効果のために特徴付けるのが困難である。 2キュービットゲートで発生する雑音を特徴付けるマルチキュービットダイナミックデカップリングシーケンスを開発し,適用する。
  論文  参考訳（メタデータ） (2022-01-26T20:22:38Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。