論文の概要: A prescriptive theory for brain-like inference

• arxiv url: http://arxiv.org/abs/2410.19315v1
• Date: Fri, 25 Oct 2024 06:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:15.041346
• Title: A prescriptive theory for brain-like inference
• Title（参考訳）: 脳様推論の規範的理論
• Authors: Hadi Vafaii, Dekel Galor, Jacob L. Yates,
• Abstract要約: Evidence Lower Bound (ELBO) の最大化はベイズ後部推論を行うスパイクニューラルネットワークに繋がることを示す。 結果のモデルである反復型Poisson VAEは、以前の脳にインスパイアされた予測モデルよりも生物学的ニューロンと密接な関係を持つ。 これらの結果は,ELBOの最適化とPoissonの仮定が相まって,NeuroAIにおける規範的理論の確立の基盤となることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The Evidence Lower Bound (ELBO) is a widely used objective for training deep generative models, such as Variational Autoencoders (VAEs). In the neuroscience literature, an identical objective is known as the variational free energy, hinting at a potential unified framework for brain function and machine learning. Despite its utility in interpreting generative models, including diffusion models, ELBO maximization is often seen as too broad to offer prescriptive guidance for specific architectures in neuroscience or machine learning. In this work, we show that maximizing ELBO under Poisson assumptions for general sequence data leads to a spiking neural network that performs Bayesian posterior inference through its membrane potential dynamics. The resulting model, the iterative Poisson VAE (iP-VAE), has a closer connection to biological neurons than previous brain-inspired predictive coding models based on Gaussian assumptions. Compared to amortized and iterative VAEs, iP-VAElearns sparser representations and exhibits superior generalization to out-of-distribution samples. These findings suggest that optimizing ELBO, combined with Poisson assumptions, provides a solid foundation for developing prescriptive theories in NeuroAI.
• Abstract（参考訳）: エビデンス・ロウアー・バウンド (ELBO) は、変分オートエンコーダ (VAE) のような深部生成モデルの訓練に広く用いられている。 神経科学の文献では、同じ目的が変動自由エネルギーとして知られており、脳機能と機械学習のための統合された枠組みの可能性を示唆している。 拡散モデルを含む生成モデルの解釈に有用であるにもかかわらず、ELBOの最大化は神経科学や機械学習の特定のアーキテクチャの規範的ガイダンスを提供するには広すぎると見なされることが多い。 本研究では,一般シーケンスデータに対するポアソン仮定の下でのELBOの最大化が,バイーシアン後部推論を行うスパイクニューラルネットワークに導かれることを示す。 結果として得られたモデルである反復ポアソンVAE (iP-VAE) は、ガウスの仮定に基づく以前の脳にインスパイアされた予測符号化モデルよりも生物学的ニューロンと密接な関係を持つ。 iP-VAElearnsスペーサー表現は、償却型および反復型VAEと比較し、分布外サンプルよりも優れた一般化を示す。 これらの結果は,ELBOの最適化とPoissonの仮定が相まって,NeuroAIにおける規範的理論の確立の基盤となることを示唆している。

関連論文リスト

• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• A Neural Network Implementation for Free Energy Principle [3.7937771805690392]
  自由エネルギー原理 (FEP) は認知科学、神経科学、社会相互作用、熱力学などの分野における様々な問題に広く応用されている。 本稿では、古典的ニューラルネットワークモデルであるヘルムホルツマシンを用いて、FEPと機械学習をブリッジする予備的な試みを示す。 ヘルムホルツ機械は一時的ではないが、バニラFEPと脳の階層モデルと平行な理想を与える。
  論文  参考訳（メタデータ） (2023-06-11T22:14:21Z)
• Neural Frailty Machine: Beyond proportional hazard assumption in neural survival regressions [30.018173329118184]
  生存回帰のための強力なフレキシブルなニューラル・モデリング・フレームワークであるニューラル・フラリティ・マシン(NFM)を提案する。 2つの具体的なモデルは、ニューラル比例ハザードモデルと非ハザード回帰モデルを拡張する枠組みに基づいて導出される。 我々は,異なるスケールのベンチマークデータセットを6ドル以上で評価し,提案したNAMモデルは予測性能において最先端サバイバルモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-18T08:15:15Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Iterative VAE as a predictive brain model for out-of-distribution generalization [7.006301658267125]
  iVAEs は PCNs と VAEs のどちらよりも分布シフトに優れていた。 本研究では,人間の心理物理学的データに対して検査可能な個人サンプルの認識可能性の新しい尺度を提案する。
  論文  参考訳（メタデータ） (2020-12-01T15:02:38Z)
• Improved Protein-ligand Binding Affinity Prediction with Structure-Based Deep Fusion Inference [3.761791311908692]
  正確なタンパク質-リガンド結合親和性を予測することは、薬物発見において重要である。 深層畳み込みとグラフニューラルネットワークに基づくアプローチの最近の進歩により、モデルの性能は入力データ表現に依存する。 結合親和性予測を改善するため、2つのニューラルネットワークモデルの異なる特徴表現の恩恵を受けるための融合モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-17T22:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。