論文の概要: Brain-like Variational Inference

• arxiv url: http://arxiv.org/abs/2410.19315v3
• Date: Fri, 24 Oct 2025 08:32:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:14.75344
• Title: Brain-like Variational Inference
• Title（参考訳）: 脳様変分推論
• Authors: Hadi Vafaii, Dekel Galor, Jacob L. Yates,
• Abstract要約: FOND(Free Energy Online Natural-gradient Dynamics)は,3つの原理から神経推論力学を導出するフレームワークである。 我々はFONDを用いて膜電位ダイナミクスによる変分推論を行う反復スパイクニューラルネットワークiP-VAE(定性ポアソン変分オートエンコーダ)を導出する。 実証的には、iP-VAEは、標準のVAEとガウスベースの予測符号化モデルの両方で、空間性、再構成、生物学的確率で優れている。
• 参考スコア（独自算出の注目度）: 5.862480696321742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference in both brains and machines can be formalized by optimizing a shared objective: maximizing the evidence lower bound (ELBO) in machine learning, or minimizing variational free energy (F) in neuroscience (ELBO = -F). While this equivalence suggests a unifying framework, it leaves open how inference is implemented in neural systems. Here, we introduce FOND (Free energy Online Natural-gradient Dynamics), a framework that derives neural inference dynamics from three principles: (1) natural gradients on F, (2) online belief updating, and (3) iterative refinement. We apply FOND to derive iP-VAE (iterative Poisson variational autoencoder), a recurrent spiking neural network that performs variational inference through membrane potential dynamics, replacing amortized encoders with iterative inference updates. Theoretically, iP-VAE yields several desirable features such as emergent normalization via lateral competition, and hardware-efficient integer spike count representations. Empirically, iP-VAE outperforms both standard VAEs and Gaussian-based predictive coding models in sparsity, reconstruction, and biological plausibility, and scales to complex color image datasets such as CelebA. iP-VAE also exhibits strong generalization to out-of-distribution inputs, exceeding hybrid iterative-amortized VAEs. These results demonstrate how deriving inference algorithms from first principles can yield concrete architectures that are simultaneously biologically plausible and empirically effective.
• Abstract（参考訳）: 機械学習におけるエビデンスローバウンド(ELBO)の最大化、神経科学における変動自由エネルギー(F)の最小化(ELBO = -F)。 この等価性は統一的なフレームワークを示唆するが、ニューラルネットワークでどのように推論が実装されているかは明らかではない。 ここでは,FOND(Free Energy Online Natural-gradient Dynamics,自由エネルギーオンライン自然勾配ダイナミクス)について紹介する。 我々はFONDを用いて、膜電位ダイナミクスによる変分推論を実行し、償却エンコーダを反復的推論更新に置き換える再帰的なスパイクニューラルネットワークiP-VAE(定性ポアソン変分オートエンコーダ)を導出する。 理論的には、iP-VAEは、横競合による創発的正規化や、ハードウェア効率の良い整数スパイク数表現など、いくつかの望ましい特徴をもたらす。 実証的には、iP-VAEは、標準のVAEとガウスベースの予測符号化モデルの両方を、空間性、再構成、生物学的可視性で上回り、CelebAのような複雑なカラー画像データセットにスケールする。 iP-VAEはまた、分配外入力に対して強い一般化を示し、ハイブリッドイテレーティブアモタイズされたVAEを超越している。 これらの結果は、第一原理から推論アルゴリズムを導出することで、生物学的に検証可能で経験的に有効である具体的なアーキテクチャをいかに生み出すかを示す。

関連論文リスト

• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Poisson Variational Autoencoder [0.0]
  変分オートエンコーダ(VAE)はベイズ推定を用いて感覚入力を解釈する。 本稿では,予測符号化の原理と,インプットを離散スパイク数にエンコードするVAEを組み合わせた新しいアーキテクチャを開発する。 我々の研究は、脳のような感覚処理を研究するための解釈可能な計算フレームワークを提供する。
  論文  参考訳（メタデータ） (2024-05-23T12:02:54Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Neural Network Implementation for Free Energy Principle [3.7937771805690392]
  自由エネルギー原理 (FEP) は認知科学、神経科学、社会相互作用、熱力学などの分野における様々な問題に広く応用されている。 本稿では、古典的ニューラルネットワークモデルであるヘルムホルツマシンを用いて、FEPと機械学習をブリッジする予備的な試みを示す。 ヘルムホルツ機械は一時的ではないが、バニラFEPと脳の階層モデルと平行な理想を与える。
  論文  参考訳（メタデータ） (2023-06-11T22:14:21Z)
• Neural Frailty Machine: Beyond proportional hazard assumption in neural survival regressions [30.018173329118184]
  生存回帰のための強力なフレキシブルなニューラル・モデリング・フレームワークであるニューラル・フラリティ・マシン(NFM)を提案する。 2つの具体的なモデルは、ニューラル比例ハザードモデルと非ハザード回帰モデルを拡張する枠組みに基づいて導出される。 我々は,異なるスケールのベンチマークデータセットを6ドル以上で評価し,提案したNAMモデルは予測性能において最先端サバイバルモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-18T08:15:15Z)
• Bayesian Federated Neural Matching that Completes Full Information [2.6566593102111473]
  フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:47:56Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Iterative VAE as a predictive brain model for out-of-distribution generalization [7.006301658267125]
  iVAEs は PCNs と VAEs のどちらよりも分布シフトに優れていた。 本研究では,人間の心理物理学的データに対して検査可能な個人サンプルの認識可能性の新しい尺度を提案する。
  論文  参考訳（メタデータ） (2020-12-01T15:02:38Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
  我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。 ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
  論文  参考訳（メタデータ） (2020-07-08T21:23:19Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Improved Protein-ligand Binding Affinity Prediction with Structure-Based Deep Fusion Inference [3.761791311908692]
  正確なタンパク質-リガンド結合親和性を予測することは、薬物発見において重要である。 深層畳み込みとグラフニューラルネットワークに基づくアプローチの最近の進歩により、モデルの性能は入力データ表現に依存する。 結合親和性予測を改善するため、2つのニューラルネットワークモデルの異なる特徴表現の恩恵を受けるための融合モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-17T22:26:27Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。