論文の概要: Self-Organization Towards $1/f$ Noise in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2301.08530v1
- Date: Fri, 20 Jan 2023 12:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 13:20:47.005314
- Title: Self-Organization Towards $1/f$ Noise in Deep Neural Networks
- Title（参考訳）: 深層ニューラルネットワークにおける1/f$ノイズに対する自己組織化
- Authors: Nicholas Chong Jia Le and Ling Feng
- Abstract要約: 現実世界のデータセットをモデルとしたディープニューラルネットワーク(DNN)に1/f$のノイズが存在することが分かりました。
LSTMセルの"inner"と"outer"のアクティベーションにおける1/f$ノイズの指数値を比較したところ,fMRI信号の指数の変動に若干類似していることがわかった。
- 参考スコア（独自算出の注目度）: 3.172036712337641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite $1/f$ noise being ubiquitous in both natural and artificial systems,
no general explanations for the phenomenon have received widespread acceptance.
One well-known system where $1/f$ noise has been observed in is the human
brain, with this 'noise' proposed by some to be important to the healthy
function of the brain. As deep neural networks (DNNs) are loosely modelled
after the human brain, and as they start to achieve human-level performance in
specific tasks, it might be worth investigating if the same $1/f$ noise is
present in these artificial networks as well. Indeed, we find the existence of
$1/f$ noise in DNNs - specifically Long Short-Term Memory (LSTM) networks
modelled on real world dataset - by measuring the Power Spectral Density (PSD)
of different activations within the network in response to a sequential input
of natural language. This was done in analogy to the measurement of $1/f$ noise
in human brains with techniques such as electroencephalography (EEG) and
functional Magnetic Resonance Imaging (fMRI). We further examine the exponent
values in the $1/f$ noise in "inner" and "outer" activations in the LSTM cell,
finding some resemblance in the variations of the exponents in the fMRI signal.
In addition, comparing the values of the exponent at "rest" compared to when
performing "tasks" of the LSTM network, we find a similar trend to that of the
human brain where the exponent while performing tasks is less negative.
- Abstract（参考訳）: 自然システムと人工システムの両方に1/f$のノイズが存在するにもかかわらず、この現象の一般的な説明は広く受け入れられていない。
1/f$のノイズが観測された有名なシステムは人間の脳であり、この「ノイズ」は脳の健康機能にとって重要であると提案されている。
ディープニューラルネットワーク(dnn)は人間の脳をゆるやかにモデル化し、特定のタスクで人間レベルのパフォーマンスを達成し始めるにつれて、これらの人工的なネットワークにも同じ1ドル/f$のノイズが存在するかどうかを調べる価値があるかもしれない。
実際、DNN(特にLong Short-Term Memory (LSTM)ネットワーク)における1/f$ノイズの存在は、自然言語の逐次入力に応答して、ネットワーク内の異なるアクティベーションのパワースペクトル密度(PSD)を測定することによって明らかである。
これは、脳波(eeg)や機能的磁気共鳴画像(fmri)などの技術を用いて、ヒト脳における1/f$ノイズの測定と類似している。
さらに、LSTMセルの「インナー」および「アウター」アクティベーションにおける1/f$ノイズの指数値について検討し、fMRI信号における指数の変動に類似点を見出した。
また、LSTMネットワークの「タスク」を行う場合と比較して「レスト」における指数値を比較すると、タスク実行時の指数値が負でない人間の脳と同様の傾向がみられた。
関連論文リスト
- Exploring Behavior-Relevant and Disentangled Neural Dynamics with Generative Diffusion Models [2.600709013150986]
行動の神経基盤を理解することは神経科学の基本的な目標である。
私たちのアプローチは、BeNeDiff'と呼ばれるもので、まずきめ細やかな神経部分空間を識別します。
次に、最先端の生成拡散モデルを使用して、各潜伏因子の神経力学を解釈する行動ビデオを合成する。
論文 参考訳（メタデータ） (2024-10-12T18:28:56Z) - Exploiting Noise as a Resource for Computation and Learning in Spiking
Neural Networks [32.0086664373154]
本研究では,雑音型スパイクニューラルネットワーク(NSNN)とノイズ駆動学習規則(NDL)を紹介する。
NSNNは、スケーラブルでフレキシブルで信頼性の高い計算をもたらす理論的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-05-25T13:21:26Z) - Noise impact on recurrent neural network with linear activation function [0.0]
エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。
ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。
ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
論文 参考訳（メタデータ） (2023-03-23T13:43:05Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Normalization effects on deep neural networks [20.48472873675696]
ニューラルネットワークの出力の統計的挙動に対する$gamma_i$の選択の影響について検討する。
ニューラルネットワークの出力とテスト精度のばらつきの観点からは、$gamma_i$sを1にすることを選択すべきである。
論文 参考訳（メタデータ） (2022-09-02T17:05:55Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳（メタデータ） (2022-07-07T15:37:17Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳（メタデータ） (2022-02-27T23:12:43Z) - When Noise meets Chaos: Stochastic Resonance in Neurochaos Learning [0.0]
ニューロカオス学習(NL)における共鳴(SR)現象の実証
SRはNLの単一ニューロンのレベルで発現し、効率的なサブスレッショルド信号検出を可能にする。
ニューロカオス学習における中間レベルのノイズは、分類タスクにおけるピークパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-02-02T05:16:55Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。