論文の概要: Neural Sampling in Hierarchical Exponential-family Energy-based Models

• arxiv url: http://arxiv.org/abs/2310.08431v1
• Date: Thu, 12 Oct 2023 15:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 08:55:21.021729
• Title: Neural Sampling in Hierarchical Exponential-family Energy-based Models
• Title（参考訳）: 階層的指数族エネルギーモデルにおけるニューラルサンプリング
• Authors: Xingsi Dong, Si Wu
• Abstract要約: 本稿では,推論と学習のダイナミクスを捉える階層的指数族エネルギーベース(HEE)モデルを提案する。 我々は、神経適応が運動量項として機能し、推論過程を著しく加速することを示した。 機械学習のコミュニティにとって、我々のモデルは共同生成や限界生成によって観察を生成できる。
• 参考スコア（独自算出の注目度）: 7.359253637105765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian brain theory suggests that the brain employs generative models to understand the external world. The sampling-based perspective posits that the brain infers the posterior distribution through samples of stochastic neuronal responses. Additionally, the brain continually updates its generative model to approach the true distribution of the external world. In this study, we introduce the Hierarchical Exponential-family Energy-based (HEE) model, which captures the dynamics of inference and learning. In the HEE model, we decompose the partition function into individual layers and leverage a group of neurons with shorter time constants to sample the gradient of the decomposed normalization term. This allows our model to estimate the partition function and perform inference simultaneously, circumventing the negative phase encountered in conventional energy-based models (EBMs). As a result, the learning process is localized both in time and space, and the model is easy to converge. To match the brain's rapid computation, we demonstrate that neural adaptation can serve as a momentum term, significantly accelerating the inference process. On natural image datasets, our model exhibits representations akin to those observed in the biological visual system. Furthermore, for the machine learning community, our model can generate observations through joint or marginal generation. We show that marginal generation outperforms joint generation and achieves performance on par with other EBMs.
• Abstract（参考訳）: ベイジアン脳理論は、脳は外界を理解するために生成モデルを使っていることを示唆している。 サンプリングに基づく観点では、脳は確率的神経反応のサンプルを通して後部分布を推測する。 さらに、脳はその生成モデルを継続的に更新し、外界の真の分布にアプローチする。 本研究では,推論と学習のダイナミクスを捉える階層的指数族エネルギーベース(HEE)モデルを提案する。 HEEモデルでは、分割関数を個々の層に分解し、短い時間定数のニューロン群を利用して分解正規化項の勾配をサンプリングする。 これにより,従来のエネルギーベースモデル (ebms) では負の位相を回避し,分割関数を推定し,同時に推論を行うことができる。 その結果、学習プロセスは時間と空間の両方で局所化され、モデルを簡単に収束させることができる。 脳の急速な計算に適合するため、神経適応は運動量項として機能し、推論過程を著しく加速できることを実証する。 自然画像データセットでは,生体視覚系で観察された画像に類似した表現を示す。 さらに、機械学習コミュニティにとって、このモデルはジョイントまたはマージン生成を通じて観察を生成できる。 限界生成は共同生成より優れ,他のESMと同等の性能を発揮することを示す。

関連論文リスト

• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• DBGDGM: Dynamic Brain Graph Deep Generative Model [63.23390833353625]
  グラフは機能的磁気画像(fMRI)データから得られる脳活動の自然な表現である。 機能的接続ネットワーク(FCN)として知られる解剖学的脳領域のクラスターは、脳の機能や機能不全を理解するのに有用なバイオマーカーとなる時間的関係を符号化することが知られている。 しかし、以前の研究は脳の時間的ダイナミクスを無視し、静的グラフに焦点を当てていた。 本稿では,脳の領域を時間的に進化するコミュニティにクラスタリングし,非教師なしノードの動的埋め込みを学習する動的脳グラフ深部生成モデル(DBGDGM)を提案する。
  論文  参考訳（メタデータ） (2023-01-26T20:45:30Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• Ranking of Communities in Multiplex Spatiotemporal Models of Brain Dynamics [0.0]
  隠れマルコフグラフモデル(HMs)と呼ぶ多重脳状態グラフモデルとして、ニューラルHMMの解釈を提案する。 この解釈により、ネットワーク分析技術の完全なレパートリーを使用して、動的脳活動を分析することができる。 ランダムウォークに基づく手法を用いて,脳領域の重要なコミュニティを決定するための新しいツールを開発した。
  論文  参考訳（メタデータ） (2022-03-17T12:14:09Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Identification of brain states, transitions, and communities using functional MRI [0.5872014229110214]
  ベイズモデルに基づく潜在脳状態のキャラクタリゼーションを提案し,後方予測の不一致に基づく新しい手法を提案する。 タスク-fMRIデータの解析により得られた結果は、外部タスク要求と脳状態間の変化点の間の適切な遅延を示す。
  論文  参考訳（メタデータ） (2021-01-26T08:10:00Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Learning to infer in recurrent biological networks [4.56877715768796]
  大脳皮質は逆アルゴリズムで学習するかもしれないと我々は主張する。 画像とビデオのデータセットをモデル化するために訓練されたリカレントニューラルネットワークについて説明する。
  論文  参考訳（メタデータ） (2020-06-18T19:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。