論文の概要: N-ReLU: Zero-Mean Stochastic Extension of ReLU

• arxiv url: http://arxiv.org/abs/2511.07559v1
• Date: Wed, 12 Nov 2025 01:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.383538
• Title: N-ReLU: Zero-Mean Stochastic Extension of ReLU
• Title（参考訳）: N-ReLU:ReLUのゼロ平均確率拡張
• Authors: Md Motaleb Hossen Manik, Md Zabirul Islam, Ge Wang,
• Abstract要約: N-ReLU (Noise-ReLU) は標準正則線型単位 (ReLU) の零平均拡張である。 負のアクティベーションをガウスノイズに置き換え、同じ期待出力を保っている。 N-ReLUは、ReLU、LeakyReLU、PRELU、GELU、RRELUに匹敵するロバスト性を実現する。
• 参考スコア（独自算出の注目度）: 5.691710068675227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation functions are fundamental for enabling nonlinear representations in deep neural networks. However, the standard rectified linear unit (ReLU) often suffers from inactive or "dead" neurons caused by its hard zero cutoff. To address this issue, we introduce N-ReLU (Noise-ReLU), a zero-mean stochastic extension of ReLU that replaces negative activations with Gaussian noise while preserving the same expected output. This expectation-aligned formulation maintains gradient flow in inactive regions and acts as an annealing-style regularizer during training. Experiments on the MNIST dataset using both multilayer perceptron (MLP) and convolutional neural network (CNN) architectures show that N-ReLU achieves accuracy comparable to or slightly exceeding that of ReLU, LeakyReLU, PReLU, GELU, and RReLU at moderate noise levels (sigma = 0.05-0.10), with stable convergence and no dead neurons observed. These results demonstrate that lightweight Gaussian noise injection offers a simple yet effective mechanism to enhance optimization robustness without modifying network structures or introducing additional parameters.
• Abstract（参考訳）: 活性化関数はディープニューラルネットワークにおける非線形表現を可能にするための基本となる。 しかし、標準整流線形単位(ReLU)は、しばしばそのハードゼロカットオフによって引き起こされる不活性または「死」ニューロンに悩まされる。 この問題に対処するため、我々はN-ReLU(Noise-ReLU)を導入する。これはReLUのゼロ平均確率拡張で、同じ出力を維持しながら負のアクティベーションをガウス雑音に置き換える。 この期待整合型定式化は、非活性領域における勾配流を維持し、トレーニング中にアニール式正規化剤として機能する。 多層パーセプトロン(MLP)と畳み込みニューラルネットワーク(CNN)アーキテクチャの両方を用いたMNISTデータセットの実験により、N-ReLUは、安定した収束と死ニューロンが観察されない中程度の雑音レベル(sigma = 0.05-0.10)において、ReLU、LeakyReLU、PReLU、GELU、RReLUと同等またはわずかに高い精度を達成することが示された。 これらの結果から,軽量なガウスノイズ注入は,ネットワーク構造の変更や追加パラメータの導入を伴わずに,最適化の堅牢性を高めるためのシンプルかつ効果的なメカニズムを提供することが示された。

関連論文リスト

• Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture [2.2201528765499416]
  ランダムニューラルネットワークは、ガウス測度において、その活性化関数がゼロ平均で非線形であるときに、ほぼ独立な出力を持つことを示す: $mathbbE_z sim MathcalN(0,1)[sigma(z)]=0$。 ほぼ独立したアウトプットのため、アライメント研究センターの計算的非衝突予測の候補として、ゼロ平均アクティベーション関数を持つニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2025-10-08T00:02:22Z)
• Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks [6.1003048508889535]
  我々は、非滑らか性のみがゼロである典型的な活性化関数に対して、より一般的なRKHSの特性を提供する。 以上の結果から, 無限に滑らかでないアクティベーションの幅広いクラスは, 異なるネットワーク深さで等価なタンジェントを生成する一方, アクティベーションは等価でないRKHSを生成することがわかった。
  論文  参考訳（メタデータ） (2025-06-27T17:56:09Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
  暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。 我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-04T17:51:08Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Better NTK Conditioning: A Free Lunch from (ReLU) Nonlinear Activation in Wide Neural Networks [6.399229363353879]
  本稿では,ReLUの活性化が勾配法における最悪の収束率の向上に役立つことを示す。 NTK条件数と収束理論の密接な関係から,非線形活性化は勾配法における最悪の収束率の向上に役立つことが示唆された。
  論文  参考訳（メタデータ） (2023-05-15T17:22:26Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。