論文の概要: Self-Organization Towards $1/f$ Noise in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2301.08530v1
- Date: Fri, 20 Jan 2023 12:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 13:20:47.005314
- Title: Self-Organization Towards $1/f$ Noise in Deep Neural Networks
- Title(参考訳): 深層ニューラルネットワークにおける1/f$ノイズに対する自己組織化
- Authors: Nicholas Chong Jia Le and Ling Feng
- Abstract要約: 現実世界のデータセットをモデルとしたディープニューラルネットワーク(DNN)に1/f$のノイズが存在することが分かりました。
LSTMセルの"inner"と"outer"のアクティベーションにおける1/f$ノイズの指数値を比較したところ,fMRI信号の指数の変動に若干類似していることがわかった。
- 参考スコア(独自算出の注目度): 3.172036712337641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite $1/f$ noise being ubiquitous in both natural and artificial systems,
no general explanations for the phenomenon have received widespread acceptance.
One well-known system where $1/f$ noise has been observed in is the human
brain, with this 'noise' proposed by some to be important to the healthy
function of the brain. As deep neural networks (DNNs) are loosely modelled
after the human brain, and as they start to achieve human-level performance in
specific tasks, it might be worth investigating if the same $1/f$ noise is
present in these artificial networks as well. Indeed, we find the existence of
$1/f$ noise in DNNs - specifically Long Short-Term Memory (LSTM) networks
modelled on real world dataset - by measuring the Power Spectral Density (PSD)
of different activations within the network in response to a sequential input
of natural language. This was done in analogy to the measurement of $1/f$ noise
in human brains with techniques such as electroencephalography (EEG) and
functional Magnetic Resonance Imaging (fMRI). We further examine the exponent
values in the $1/f$ noise in "inner" and "outer" activations in the LSTM cell,
finding some resemblance in the variations of the exponents in the fMRI signal.
In addition, comparing the values of the exponent at "rest" compared to when
performing "tasks" of the LSTM network, we find a similar trend to that of the
human brain where the exponent while performing tasks is less negative.
- Abstract(参考訳): 自然システムと人工システムの両方に1/f$のノイズが存在するにもかかわらず、この現象の一般的な説明は広く受け入れられていない。
1/f$のノイズが観測された有名なシステムは人間の脳であり、この「ノイズ」は脳の健康機能にとって重要であると提案されている。
ディープニューラルネットワーク(dnn)は人間の脳をゆるやかにモデル化し、特定のタスクで人間レベルのパフォーマンスを達成し始めるにつれて、これらの人工的なネットワークにも同じ1ドル/f$のノイズが存在するかどうかを調べる価値があるかもしれない。
実際、DNN(特にLong Short-Term Memory (LSTM)ネットワーク)における1/f$ノイズの存在は、自然言語の逐次入力に応答して、ネットワーク内の異なるアクティベーションのパワースペクトル密度(PSD)を測定することによって明らかである。
これは、脳波(eeg)や機能的磁気共鳴画像(fmri)などの技術を用いて、ヒト脳における1/f$ノイズの測定と類似している。
さらに、LSTMセルの「インナー」および「アウター」アクティベーションにおける1/f$ノイズの指数値について検討し、fMRI信号における指数の変動に類似点を見出した。
また、LSTMネットワークの「タスク」を行う場合と比較して「レスト」における指数値を比較すると、タスク実行時の指数値が負でない人間の脳と同様の傾向がみられた。
関連論文リスト
- Multi-State Brain Network Discovery [37.63826758134553]
脳ネットワークは、人間の脳のfMRIスキャンからノードと平均信号を見つけることを目的としている。
通常、人間の脳は複数の活動状態を持ち、脳の活動は共同で決定される。
論文 参考訳(メタデータ) (2023-11-04T17:54:15Z) - Noise impact on recurrent neural network with linear activation function [0.0]
エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。
ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。
ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
論文 参考訳(メタデータ) (2023-03-23T13:43:05Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - Noise mitigation strategies in physical feedforward neural networks [0.0]
物理ニューラルネットワークは、次世代人工知能ハードウェアの候補候補として期待されている。
我々は、接続トポロジ、ゴーストニューロン、およびノイズ緩和戦略としてプールを導入する。
本研究は,MNIST手書き桁を分類する完全トレーニングニューラルネットワークに基づく組み合わせ手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-04-20T13:51:46Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - Understanding and mitigating noise in trained deep neural networks [0.0]
学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
論文 参考訳(メタデータ) (2021-03-12T17:16:26Z) - When Noise meets Chaos: Stochastic Resonance in Neurochaos Learning [0.0]
ニューロカオス学習(NL)における共鳴(SR)現象の実証
SRはNLの単一ニューロンのレベルで発現し、効率的なサブスレッショルド信号検出を可能にする。
ニューロカオス学習における中間レベルのノイズは、分類タスクにおけるピークパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-02-02T05:16:55Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by
Spiking Neural Network [68.43026108936029]
雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。
このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。
実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
論文 参考訳(メタデータ) (2020-07-07T08:22:56Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。