論文の概要: A developmental approach for training deep belief networks

• arxiv url: http://arxiv.org/abs/2207.05473v1
• Date: Tue, 12 Jul 2022 11:37:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 12:58:44.589862
• Title: A developmental approach for training deep belief networks
• Title（参考訳）: 深層信念ネットワーク学習のための発達的アプローチ
• Authors: Matteo Zambra, Alberto Testolin, Michele De Filippo De Grazia, Marco Zorzi
• Abstract要約: ディープ信念ネットワーク(Deep belief Network、DBN)は、知覚データから環境の豊かな内部表現を抽出できるニューラルネットワークである。 階層のすべての層にまたがる接続重みを共同で更新できるDBNの反復学習アルゴリズムiDBNを提案する。 我々の研究は、神経認知発達のモデリングにiDBNを使うことへの道を開いた。
• 参考スコア（独自算出の注目度）: 0.46699574490885926
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep belief networks (DBNs) are stochastic neural networks that can extract rich internal representations of the environment from the sensory data. DBNs had a catalytic effect in triggering the deep learning revolution, demonstrating for the very first time the feasibility of unsupervised learning in networks with many layers of hidden neurons. Thanks to their biological and cognitive plausibility, these hierarchical architectures have been also successfully exploited to build computational models of human perception and cognition in a variety of domains. However, learning in DBNs is usually carried out in a greedy, layer-wise fashion, which does not allow to simulate the holistic development of cortical circuits. Here we present iDBN, an iterative learning algorithm for DBNs that allows to jointly update the connection weights across all layers of the hierarchy. We test our algorithm on two different sets of visual stimuli, and we show that network development can also be tracked in terms of graph theoretical properties. DBNs trained using our iterative approach achieve a final performance comparable to that of the greedy counterparts, at the same time allowing to accurately analyze the gradual development of internal representations in the generative model. Our work paves the way to the use of iDBN for modeling neurocognitive development.
• Abstract（参考訳）: ディープ信念ネットワーク(Deep belief Network、DBN)は、知覚データから環境の豊かな内部表現を抽出できる確率的ニューラルネットワークである。 DBNは深層学習革命を誘発する触媒的効果を示し、多くの層が隠されたニューロンを持つネットワークにおける教師なし学習の可能性を示した。 これらの階層的アーキテクチャは、その生物学的および認知可能性により、様々な領域において人間の知覚と認知の計算モデルを構築するのに成功している。 しかし、dbnsでの学習は通常、皮質回路の全体的発展をシミュレートすることができない、欲張りで層的な方法で行われる。 ここでは、階層のすべての層にまたがる接続重みを共同で更新できるDBNの反復学習アルゴリズムiDBNを紹介する。 我々は2つの異なる視覚刺激のセットでアルゴリズムをテストし、グラフ理論特性の観点からネットワーク開発も追跡可能であることを示す。 反復的手法を用いて訓練したDBNは、グリーディ的手法に匹敵する最終的な性能を達成すると同時に、生成モデルの内部表現の段階的発達を正確に解析する。 我々の研究は、神経認知発達のモデリングにiDBNを使うことへの道を開いた。

関連論文リスト

• Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
  我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。 我々は,誤りや誤りを正確に予測し,分析結果を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:57:58Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Identifying Equivalent Training Dynamics [3.793387630509845]
  共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。 クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
  論文  参考訳（メタデータ） (2023-02-17T22:15:20Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。