論文の概要: Self-Organization Towards $1/f$ Noise in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2301.08530v2
- Date: Mon, 1 Apr 2024 14:47:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 14:11:24.369666
- Title: Self-Organization Towards $1/f$ Noise in Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおける1/f$ノイズへの自己組織化
- Authors: Nicholas Chong Jia Le, Ling Feng,
- Abstract要約: ピンクノイズ(英: pink noise)は、生物学的ニューラルネットワークにおいて確立された現象である。
この研究では、自然言語で訓練されたディープニューラルネットワークでも、このような1/f$のノイズが見られます。
- 参考スコア（独自算出の注目度）: 5.432285843497807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The presence of $1/f$ noise, also known as pink noise, is a well-established phenomenon in biological neural networks, and is thought to play an important role in information processing in the brain. In this study, we find that such $1/f$ noise is also found in deep neural networks trained on natural language, resembling that of their biological counterparts. Specifically, we trained Long Short-Term Memory (LSTM) networks on the `IMDb' AI benchmark dataset, then measured the neuron activations. The detrended fluctuation analysis (DFA) on the time series of the different neurons demonstrate clear $1/f$ patterns, which is absent in the time series of the inputs to the LSTM. Interestingly, when the neural network is at overcapacity, having more than enough neurons to achieve the learning task, the activation patterns deviate from $1/f$ noise and shifts towards white noise. This is because many of the neurons are not effectively used, showing little fluctuations when fed with input data. We further examine the exponent values in the $1/f$ noise in ``internal" and ``external" activations in the LSTM cell, finding some resemblance in the variations of the exponents in fMRI signals of the human brain. Our findings further supports the hypothesis that $1/f$ noise is a signature of optimal learning. With deep learning models approaching or surpassing humans in certain tasks, and being more ``experimentable'' than their biological counterparts, our study suggests that they are good candidates to understand the fundamental origins of $1/f$ noise.
- Abstract（参考訳）: ピンクノイズ(英: pink noise)またはピンクノイズ(英: pink noise)は、生物学的ニューラルネットワークにおいて確立された現象であり、脳の情報処理において重要な役割を果たすと考えられている。
本研究では、自然言語で訓練されたディープニューラルネットワークにおいて、このような1/f$のノイズが、その生物学的ノイズと類似していることを見出した。
具体的には、 'IMDb' AIベンチマークデータセット上でLSTM(Long Short-Term Memory)ネットワークをトレーニングし、ニューロンの活性化を測定した。
異なるニューロンの時系列上の遅延変動解析(DFA)は、LSTMへの入力の時系列に存在しない1/f$パターンを明確に示している。
興味深いことに、ニューラルネットワークが過剰な能力にあり、学習タスクを達成するのに十分なニューロンを持つ場合、アクティベーションパターンは1/f$のノイズから逸脱し、ホワイトノイズへとシフトする。
これは、多くのニューロンが効果的に使われておらず、入力データに入力されたときのゆらぎがほとんどないためである。
さらに、LSTM細胞における「internal」と「external」の活性化における1/f$ノイズの指数値について検討し、ヒト脳のfMRI信号における指数値の変動にいくつかの類似性を見出した。
この結果は,1/f$のノイズが最適学習のサインである,という仮説をさらに支持している。
ディープラーニングモデルが特定のタスクにおいて人間に近づいたり、超えたりし、生物学的な作業よりも「実験可能な」ことを考えると、これらのモデルが1/f$ノイズの根本的な起源を理解するのに良い候補であることが示唆された。
関連論文リスト
- Exploring Behavior-Relevant and Disentangled Neural Dynamics with Generative Diffusion Models [2.600709013150986]
行動の神経基盤を理解することは神経科学の基本的な目標である。
私たちのアプローチは、BeNeDiff'と呼ばれるもので、まずきめ細やかな神経部分空間を識別します。
次に、最先端の生成拡散モデルを使用して、各潜伏因子の神経力学を解釈する行動ビデオを合成する。
論文 参考訳（メタデータ） (2024-10-12T18:28:56Z) - Exploiting Noise as a Resource for Computation and Learning in Spiking
Neural Networks [32.0086664373154]
本研究では,雑音型スパイクニューラルネットワーク(NSNN)とノイズ駆動学習規則(NDL)を紹介する。
NSNNは、スケーラブルでフレキシブルで信頼性の高い計算をもたらす理論的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-05-25T13:21:26Z) - Noise impact on recurrent neural network with linear activation function [0.0]
エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。
ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。
ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
論文 参考訳（メタデータ） (2023-03-23T13:43:05Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Normalization effects on deep neural networks [20.48472873675696]
ニューラルネットワークの出力の統計的挙動に対する$gamma_i$の選択の影響について検討する。
ニューラルネットワークの出力とテスト精度のばらつきの観点からは、$gamma_i$sを1にすることを選択すべきである。
論文 参考訳（メタデータ） (2022-09-02T17:05:55Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳（メタデータ） (2022-07-07T15:37:17Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳（メタデータ） (2022-02-27T23:12:43Z) - When Noise meets Chaos: Stochastic Resonance in Neurochaos Learning [0.0]
ニューロカオス学習(NL)における共鳴(SR)現象の実証
SRはNLの単一ニューロンのレベルで発現し、効率的なサブスレッショルド信号検出を可能にする。
ニューロカオス学習における中間レベルのノイズは、分類タスクにおけるピークパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-02-02T05:16:55Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。