論文の概要: Investigating the generative dynamics of energy-based neural networks

• arxiv url: http://arxiv.org/abs/2305.06745v1
• Date: Thu, 11 May 2023 12:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 15:01:05.528474
• Title: Investigating the generative dynamics of energy-based neural networks
• Title（参考訳）: エネルギーベースニューラルネットワークの生成ダイナミクスに関する研究
• Authors: Lorenzo Tausani and Alberto Testolin and Marco Zorzi
• Abstract要約: 制限ボルツマンマシン(RBM)の生成ダイナミクスについて検討する。 キメラ状態からトップダウンサンプリングを開始することにより,多種多様なデータプロトタイプを作成する能力を向上させることができることを示す。 また,本モデルでは,一世代軌道内で可能な全ての桁状態間の遷移が可能であることも確認した。
• 参考スコア（独自算出の注目度）: 0.35911228556176483
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative neural networks can produce data samples according to the statistical properties of their training distribution. This feature can be used to test modern computational neuroscience hypotheses suggesting that spontaneous brain activity is partially supported by top-down generative processing. A widely studied class of generative models is that of Restricted Boltzmann Machines (RBMs), which can be used as building blocks for unsupervised deep learning architectures. In this work, we systematically explore the generative dynamics of RBMs, characterizing the number of states visited during top-down sampling and investigating whether the heterogeneity of visited attractors could be increased by starting the generation process from biased hidden states. By considering an RBM trained on a classic dataset of handwritten digits, we show that the capacity to produce diverse data prototypes can be increased by initiating top-down sampling from chimera states, which encode high-level visual features of multiple digits. We also found that the model is not capable of transitioning between all possible digit states within a single generation trajectory, suggesting that the top-down dynamics is heavily constrained by the shape of the energy function.
• Abstract（参考訳）: 生成ニューラルネットワークは、トレーニング分布の統計的特性に応じてデータサンプルを生成することができる。 この特徴は、脳活動が部分的にトップダウン生成処理によって支えられていることを示唆する現代の計算神経科学仮説をテストするために用いられる。 広く研究されている生成モデルのクラスはRestricted Boltzmann Machines (RBMs) であり、教師なしディープラーニングアーキテクチャのビルディングブロックとして使用できる。 本研究では,rbmsの生成ダイナミクスを体系的に検討し,トップダウンサンプリング中に訪問した状態の数を特徴付け,バイアスド隠れ状態から生成プロセスを開始することで,訪問客の異種性を高めることができるかを検討する。 手書き桁の古典的なデータセットに基づいて訓練されたRBMを考慮し、複数の桁の高レベルな視覚的特徴を符号化したキメラ状態からトップダウンサンプリングを開始することにより、多様なデータプロトタイプを作成する能力を高めることができることを示す。 また、このモデルでは1つの生成軌道内で可能な全ての数値状態間の遷移ができないことが分かり、トップダウンダイナミクスはエネルギー関数の形状によって強く制約されていることが示唆された。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Diffusion-Based Generation of Neural Activity from Disentangled Latent Codes [1.9544534628180867]
  本稿では,条件付き生成モデリングの進歩を生かしたニューラルデータ解析手法を提案する。 我々は,高情報付きコードに基づくニューラル・オブザーバ生成と呼ばれるモデルを時系列ニューラル・データに適用する。 VAEベースのシーケンシャルオートエンコーダと比較して、GNOCCHIは、鍵となる振る舞い変数に関してより明確に構造化され、よりゆがみのある高品質な潜在空間を学習する。
  論文  参考訳（メタデータ） (2024-07-30T21:07:09Z)
• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Quantum Generative Modeling of Sequential Data with Trainable Token Embedding [0.0]
  ボルンマシンとして知られる量子インスパイアされた生成モデルは、古典的および量子的データの学習において大きな進歩を見せている。 本稿では,MPSを同時に使用可能なトレーニング可能な量子計測演算子への埋め込み法を一般化する。 私たちの研究は、トレーニング可能な埋め込みと組み合わせることで、Bornマシンはより良いパフォーマンスを示し、データセットからより深い相関関係を学習できることを示した。
  論文  参考訳（メタデータ） (2023-11-08T22:56:37Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
  エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
  論文  参考訳（メタデータ） (2021-04-15T15:34:58Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Learning the Ising Model with Generative Neural Networks [0.0]
  ボルツマンマシン(RBM)と変分オートエンコーダ(VAE)の表現特性について検討する。 その結果, RBM と畳み込み VAE は, 磁化, エネルギー, スピンスピン相関の温度依存性を捉えることが可能であることが示唆された。 また, VAEの畳み込み層はスピン相関をモデル化するのに重要であるのに対し, RBMは畳み込みフィルタを使わずに類似あるいはさらに優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-01-15T15:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。