論文の概要: A developmental approach for training deep belief networks
- arxiv url: http://arxiv.org/abs/2207.05473v1
- Date: Tue, 12 Jul 2022 11:37:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 12:58:44.589862
- Title: A developmental approach for training deep belief networks
- Title(参考訳): 深層信念ネットワーク学習のための発達的アプローチ
- Authors: Matteo Zambra, Alberto Testolin, Michele De Filippo De Grazia, Marco
Zorzi
- Abstract要約: ディープ信念ネットワーク(Deep belief Network、DBN)は、知覚データから環境の豊かな内部表現を抽出できるニューラルネットワークである。
階層のすべての層にまたがる接続重みを共同で更新できるDBNの反復学習アルゴリズムiDBNを提案する。
我々の研究は、神経認知発達のモデリングにiDBNを使うことへの道を開いた。
- 参考スコア(独自算出の注目度): 0.46699574490885926
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep belief networks (DBNs) are stochastic neural networks that can extract
rich internal representations of the environment from the sensory data. DBNs
had a catalytic effect in triggering the deep learning revolution,
demonstrating for the very first time the feasibility of unsupervised learning
in networks with many layers of hidden neurons. Thanks to their biological and
cognitive plausibility, these hierarchical architectures have been also
successfully exploited to build computational models of human perception and
cognition in a variety of domains. However, learning in DBNs is usually carried
out in a greedy, layer-wise fashion, which does not allow to simulate the
holistic development of cortical circuits. Here we present iDBN, an iterative
learning algorithm for DBNs that allows to jointly update the connection
weights across all layers of the hierarchy. We test our algorithm on two
different sets of visual stimuli, and we show that network development can also
be tracked in terms of graph theoretical properties. DBNs trained using our
iterative approach achieve a final performance comparable to that of the greedy
counterparts, at the same time allowing to accurately analyze the gradual
development of internal representations in the generative model. Our work paves
the way to the use of iDBN for modeling neurocognitive development.
- Abstract(参考訳): ディープ信念ネットワーク(Deep belief Network、DBN)は、知覚データから環境の豊かな内部表現を抽出できる確率的ニューラルネットワークである。
DBNは深層学習革命を誘発する触媒的効果を示し、多くの層が隠されたニューロンを持つネットワークにおける教師なし学習の可能性を示した。
これらの階層的アーキテクチャは、その生物学的および認知可能性により、様々な領域において人間の知覚と認知の計算モデルを構築するのに成功している。
しかし、dbnsでの学習は通常、皮質回路の全体的発展をシミュレートすることができない、欲張りで層的な方法で行われる。
ここでは、階層のすべての層にまたがる接続重みを共同で更新できるDBNの反復学習アルゴリズムiDBNを紹介する。
我々は2つの異なる視覚刺激のセットでアルゴリズムをテストし、グラフ理論特性の観点からネットワーク開発も追跡可能であることを示す。
反復的手法を用いて訓練したDBNは、グリーディ的手法に匹敵する最終的な性能を達成すると同時に、生成モデルの内部表現の段階的発達を正確に解析する。
我々の研究は、神経認知発達のモデリングにiDBNを使うことへの道を開いた。
関連論文リスト
- Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - A Deep Probabilistic Spatiotemporal Framework for Dynamic Graph
Representation Learning with Application to Brain Disorder Identification [6.701251840474303]
自閉症スペクトラム障害(ASD)識別のための動的脳内FCネットワークのトポロジカル構造を学習するための深い確率的枠組みが提案されている。
提案するフレームワークは,動的FCネットワークをまたいだリッチテンポラルパターンを捕捉する空間認識型リカレントニューラルネットワークと,学習したパターンを対象レベルの分類に活用する完全適合型ニューラルネットワークを備えている。
静止状態機能型磁気共鳴画像データセットの評価により,ASDの同定において,我々のフレームワークは最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-14T18:42:17Z) - Developing hierarchical anticipations via neural network-based event
segmentation [14.059479351946386]
我々は、自律的に学習された潜在イベントコードによる階層的予測の開発をモデル化する。
本稿では,学習バイアスが緩やかに変化する潜在状態の発達を促進する階層的再帰型ニューラルネットワークアーキテクチャを提案する。
より高いレベルのネットワークは、潜伏状態が変化しがちな状況を予測することを学ぶ。
論文 参考訳(メタデータ) (2022-06-04T18:54:31Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳(メタデータ) (2022-03-30T21:47:32Z) - Improving Neural Predictivity in the Visual Cortex with Gated Recurrent
Connections [0.0]
我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。
本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
論文 参考訳(メタデータ) (2022-03-22T17:27:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Towards efficient end-to-end speech recognition with
biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文 参考訳(メタデータ) (2021-10-04T21:24:10Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z) - Towards a Predictive Processing Implementation of the Common Model of
Cognition [79.63867412771461]
本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。
提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
論文 参考訳(メタデータ) (2021-05-15T22:55:23Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。