論文の概要: Internal noise in deep neural networks: interplay of depth, neuron number, and noise injection step

• arxiv url: http://arxiv.org/abs/2604.08117v1
• Date: Thu, 09 Apr 2026 11:36:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.887949
• Title: Internal noise in deep neural networks: interplay of depth, neuron number, and noise injection step
• Title（参考訳）: ディープニューラルネットワークにおける内部ノイズ:深度、ニューロン数、ノイズ注入ステップの相互作用
• Abstract要約: 本稿では,奥行きニューラルネットワークの性能に及ぼす内部ガウス雑音の影響について検討する。 アクティベーション関数の前後で導入された雑音を加法的および乗法的両方のノイズの影響で解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines the influence of internal Gaussian noise on the performance of deep feedforward neural networks, focusing on the role of the noise injection stage relative to the activation function. Two scenarios are analyzed: noise introduced before and after the activation function, for both additive and multiplicative noise influence. The case of noise before activation function is similar to perturbations in the input channel of neuron, while the noise introduced after activation function is analogous to noise occurring either within the neuron itself or in its output channel. The types of noise and the method of their introduction were inspired by analog neural networks. The results show that the activation function acts as an effective nonlinear filter of noise. Networks with noise introduced before the activation function consistently achieve higher accuracy than those with noise applied after it, with additive noise being more effectively suppressed in this case. For noise introduced after the activation function, multiplicative noise is less detrimental than additive noise, and earlier hidden layers contribute more significantly to performance degradation due to cumulative noise amplification governed by the statistical properties of subsequent weight matrices. The study also demonstrates that pooling-based noise reduction is effective in both cases when noise is introduced before and after the activation function, consistently improving network performance.
• Abstract（参考訳）: 本稿では, 奥行きニューラルネットワークの性能に及ぼす内部ガウス雑音の影響について検討し, アクティベーション関数に対するノイズ注入ステージの役割に着目した。 アクティベーション関数の前後で導入された雑音を加法的および乗法的両方のノイズの影響で解析する。 活性化機能前のノイズはニューロンの入力チャネルの摂動と似ているが、活性化機能後に発生するノイズはニューロン内部または出力チャネル内で発生するノイズと類似している。 ノイズの種類とその導入方法はアナログニューラルネットワークにインスパイアされた。 その結果, 活性化関数は有効非線形雑音フィルタとして機能することがわかった。 アクティベーション関数の前に導入されるノイズのあるネットワークは、それに続くノイズよりも常に高い精度を達成し、この場合、加算ノイズはより効果的に抑制される。 アクティベーション関数の後に発生する雑音に対して、乗算雑音は付加雑音よりも有害であり、初期の隠れ層は、その後の重み行列の統計的性質によって支配される累積雑音増幅による性能劣化に大きく寄与する。 また,アクティベーション関数の前後でノイズが発生する場合にも,プール方式のノイズ低減が有効であることを示し,ネットワーク性能を継続的に改善することを示した。

関連論文リスト

• Spatial Partial Functionalization of Neural Networks based on Noise Fields [0.0]
  ニューラル計算におけるノイズは、通常障害と見なされるが、その空間分布は、ネットワークのどの部分が計算に参加するかを積極的に制御する。 本稿では,雑音場を用いた雑音変調ニューラルネットワークの空間的部分関数化について検討する。
  論文  参考訳（メタデータ） (2026-06-23T13:50:50Z)
• General aspects of internal noise in spiking neural networks [0.0]
  本研究は,1つの漏れした統合燃焼ニューロンと訓練されたスパイキングニューラルネットワーク(SNN)に対する加法的および乗法的ノイズの影響について検討する。 その結果, 膜電位に対する乗算ノイズはネットワーク性能に最も有害な影響を及ぼし, 精度は著しく低下した。
  論文  参考訳（メタデータ） (2026-04-15T08:24:42Z)
• Paradoxical noise preference in RNNs [0.0]
  生物学的ニューラルネットワークをモデル化するために使用されるリカレントニューラルネットワーク(RNN)では、通常、トレーニング中にノイズを導入し、生物学的多様性をエミュレートし、学習を規則化する。 連続時間リカレントニューラルネットワーク(CTRNN)は、非ゼロノイズレベル、特に、トレーニング中に使用されるものと同じレベルにおいて、よく機能する。 このノイズ嗜好は、ニューラルアクティベーション関数内でノイズが注入されたときに生じ、アクティベーション関数の外でノイズが注入された訓練されたネットワークは、ゼロノイズで最もよく機能する。
  論文  参考訳（メタデータ） (2026-01-08T03:11:51Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)
• Impact of internal noise on convolutional neural networks [0.0]
  単純化された畳み込みネットワークにおける雑音の影響について検討する。 非相関ノイズの伝搬は接続行列の統計的性質に依存する。 ネットワークの出力信号における雑音レベルの解析は,数値シミュレーションの結果と強い相関関係を示す。
  論文  参考訳（メタデータ） (2025-05-10T11:49:37Z)
• Internal noise in hardware deep and recurrent neural networks helps with learning [0.0]
  ニューラルネットワークのトレーニング中の内部ノイズは、リカレントおよびディープニューラルネットワークの最終性能に影響を与える。 ほとんどの場合、ディープ状態とエコー状態のネットワークは、トレーニング中の内部ノイズの恩恵を受ける。
  論文  参考訳（メタデータ） (2025-04-18T16:26:46Z)
• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
  ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。 我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
  論文  参考訳（メタデータ） (2024-11-07T01:21:12Z)
• Noise impact on recurrent neural network with linear activation function [0.0]
  エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。 ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。 ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
  論文  参考訳（メタデータ） (2023-03-23T13:43:05Z)
• Learning Noise via Dynamical Decoupling of Entangled Qubits [49.38020717064383]
  絡み合った量子系のノイズは、複数の自由度を含む多体効果のために特徴付けるのが困難である。 2キュービットゲートで発生する雑音を特徴付けるマルチキュービットダイナミックデカップリングシーケンスを開発し,適用する。
  論文  参考訳（メタデータ） (2022-01-26T20:22:38Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)
• Removing Adversarial Noise in Class Activation Feature Space [160.78488162713498]
  クラスアクティベーション機能空間において,自己監視型対人訓練機構を実装することにより,対人雑音の除去を提案する。 クラスアクティベーション機能空間における敵対例と自然な例の間の距離を最小にするために、デノイジングモデルを訓練する。 経験的評価により, 従来の手法と比較して, 敵対的堅牢性が有意に向上できることが示された。
  論文  参考訳（メタデータ） (2021-04-19T10:42:24Z)
• On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
  Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。 最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
  論文  参考訳（メタデータ） (2021-01-19T02:04:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。