論文の概要: Investigating the generative dynamics of energy-based neural networks
- arxiv url: http://arxiv.org/abs/2305.06745v1
- Date: Thu, 11 May 2023 12:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 15:01:05.528474
- Title: Investigating the generative dynamics of energy-based neural networks
- Title(参考訳): エネルギーベースニューラルネットワークの生成ダイナミクスに関する研究
- Authors: Lorenzo Tausani and Alberto Testolin and Marco Zorzi
- Abstract要約: 制限ボルツマンマシン(RBM)の生成ダイナミクスについて検討する。
キメラ状態からトップダウンサンプリングを開始することにより,多種多様なデータプロトタイプを作成する能力を向上させることができることを示す。
また,本モデルでは,一世代軌道内で可能な全ての桁状態間の遷移が可能であることも確認した。
- 参考スコア(独自算出の注目度): 0.35911228556176483
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Generative neural networks can produce data samples according to the
statistical properties of their training distribution. This feature can be used
to test modern computational neuroscience hypotheses suggesting that
spontaneous brain activity is partially supported by top-down generative
processing. A widely studied class of generative models is that of Restricted
Boltzmann Machines (RBMs), which can be used as building blocks for
unsupervised deep learning architectures. In this work, we systematically
explore the generative dynamics of RBMs, characterizing the number of states
visited during top-down sampling and investigating whether the heterogeneity of
visited attractors could be increased by starting the generation process from
biased hidden states. By considering an RBM trained on a classic dataset of
handwritten digits, we show that the capacity to produce diverse data
prototypes can be increased by initiating top-down sampling from chimera
states, which encode high-level visual features of multiple digits. We also
found that the model is not capable of transitioning between all possible digit
states within a single generation trajectory, suggesting that the top-down
dynamics is heavily constrained by the shape of the energy function.
- Abstract(参考訳): 生成ニューラルネットワークは、トレーニング分布の統計的特性に応じてデータサンプルを生成することができる。
この特徴は、脳活動が部分的にトップダウン生成処理によって支えられていることを示唆する現代の計算神経科学仮説をテストするために用いられる。
広く研究されている生成モデルのクラスはRestricted Boltzmann Machines (RBMs) であり、教師なしディープラーニングアーキテクチャのビルディングブロックとして使用できる。
本研究では,rbmsの生成ダイナミクスを体系的に検討し,トップダウンサンプリング中に訪問した状態の数を特徴付け,バイアスド隠れ状態から生成プロセスを開始することで,訪問客の異種性を高めることができるかを検討する。
手書き桁の古典的なデータセットに基づいて訓練されたRBMを考慮し、複数の桁の高レベルな視覚的特徴を符号化したキメラ状態からトップダウンサンプリングを開始することにより、多様なデータプロトタイプを作成する能力を高めることができることを示す。
また、このモデルでは1つの生成軌道内で可能な全ての数値状態間の遷移ができないことが分かり、トップダウンダイナミクスはエネルギー関数の形状によって強く制約されていることが示唆された。
関連論文リスト
- Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳(メタデータ) (2024-02-19T15:57:39Z) - Quantum Generative Modeling of Sequential Data with Trainable Token
Embedding [0.0]
ボルンマシンとして知られる量子インスパイアされた生成モデルは、古典的および量子的データの学習において大きな進歩を見せている。
本稿では,MPSを同時に使用可能なトレーニング可能な量子計測演算子への埋め込み法を一般化する。
私たちの研究は、トレーニング可能な埋め込みと組み合わせることで、Bornマシンはより良いパフォーマンスを示し、データセットからより深い相関関係を学習できることを示した。
論文 参考訳(メタデータ) (2023-11-08T22:56:37Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain
Data [3.712362524473752]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳(メタデータ) (2023-10-31T20:17:32Z) - Generative Learning of Continuous Data by Tensor Networks [47.77281294161002]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。
我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。
本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文 参考訳(メタデータ) (2023-10-31T14:37:37Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。
この研究では、浅いニューラルネットワークに焦点を当てます。
我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
論文 参考訳(メタデータ) (2021-04-15T15:34:58Z) - A Spiking Central Pattern Generator for the control of a simulated
lamprey robot running on SpiNNaker and Loihi neuromorphic boards [1.8139771201780368]
本稿では,シミュレートされたランプレーモデルを制御する手段として,スパイクニューラルネットワークとニューロモルフィックハードウェアの実装を提案する。
センサ情報によって提供できるネットワークへの入力を変更することで,ロボットの方向や速度を動的に制御できることを示す。
スパイキングアルゴリズムのこのカテゴリは、エネルギー効率と計算速度の観点から、ニューロモルフィックハードウェアの理論的利点を利用する有望な可能性を示している。
論文 参考訳(メタデータ) (2021-01-18T11:04:16Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳(メタデータ) (2020-06-15T08:23:20Z) - Learning the Ising Model with Generative Neural Networks [0.0]
ボルツマンマシン(RBM)と変分オートエンコーダ(VAE)の表現特性について検討する。
その結果, RBM と畳み込み VAE は, 磁化, エネルギー, スピンスピン相関の温度依存性を捉えることが可能であることが示唆された。
また, VAEの畳み込み層はスピン相関をモデル化するのに重要であるのに対し, RBMは畳み込みフィルタを使わずに類似あるいはさらに優れた性能を実現する。
論文 参考訳(メタデータ) (2020-01-15T15:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。