論文の概要: A Neural Network Implementation for Free Energy Principle

• arxiv url: http://arxiv.org/abs/2306.06792v1
• Date: Sun, 11 Jun 2023 22:14:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 16:37:12.271073
• Title: A Neural Network Implementation for Free Energy Principle
• Title（参考訳）: 自由エネルギー原理のためのニューラルネットワークの実装
• Authors: Jingwei Liu
• Abstract要約: 自由エネルギー原理 (FEP) は認知科学、神経科学、社会相互作用、熱力学などの分野における様々な問題に広く応用されている。 本稿では、古典的ニューラルネットワークモデルであるヘルムホルツマシンを用いて、FEPと機械学習をブリッジする予備的な試みを示す。 ヘルムホルツ機械は一時的ではないが、バニラFEPと脳の階層モデルと平行な理想を与える。
• 参考スコア（独自算出の注目度）: 3.7937771805690392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The free energy principle (FEP), as an encompassing framework and a unified brain theory, has been widely applied to account for various problems in fields such as cognitive science, neuroscience, social interaction, and hermeneutics. As a computational model deeply rooted in math and statistics, FEP posits an optimization problem based on variational Bayes, which is solved either by dynamic programming or expectation maximization in practice. However, there seems to be a bottleneck in extending the FEP to machine learning and implementing such models with neural networks. This paper gives a preliminary attempt at bridging FEP and machine learning, via a classical neural network model, the Helmholtz machine. As a variational machine learning model, the Helmholtz machine is optimized by minimizing its free energy, the same objective as FEP. Although the Helmholtz machine is not temporal, it gives an ideal parallel to the vanilla FEP and the hierarchical model of the brain, under which the active inference and predictive coding could be formulated coherently. Besides a detailed theoretical discussion, the paper also presents a preliminary experiment to validate the hypothesis. By fine-tuning the trained neural network through active inference, the model performance is promoted to accuracy above 99\%. In the meantime, the data distribution is continuously deformed to a salience that conforms to the model representation, as a result of active sampling.
• Abstract（参考訳）: フリーエナジー原理(FEP)は、認知科学、神経科学、社会的相互作用、ハーメニューティクスなどの分野における様々な問題を考慮し、包括的枠組みと統合された脳理論として広く応用されている。 数学や統計学に深く根ざした計算モデルとして、FEPは変分ベイズに基づく最適化問題を提唱し、これは動的プログラミングや予測最大化によって解かれる。 しかし、FEPを機械学習に拡張し、ニューラルネットワークでそのようなモデルを実装するにはボトルネックがあるようだ。 本稿では,古典的なニューラルネットワークモデルであるhelmholtz machineを用いて,fepと機械学習を橋渡しする予備的試みを行う。 変動型機械学習モデルとして、ヘルムホルツマシンはfepと同じ目標である自由エネルギーを最小化することで最適化されている。 ヘルムホルツマシンは時間的ではないものの、バニラfepや脳の階層モデルと理想的に平行であり、その下にアクティブな推論と予測符号をコヒーレント的に定式化することができる。 詳細な理論的議論に加えて,仮説を検証するための予備実験も提示した。 アクティブな推論によってトレーニングされたニューラルネットワークを微調整することにより、モデル性能が99\%を超える精度に向上する。 一方、データ分布は、アクティブサンプリングの結果、モデル表現に準拠したサリエンスに連続的に変形する。

関連論文リスト

• Scientific machine learning in ecological systems: A study on the predator-prey dynamics [1.4633779950109127]
  我々は、学習データやニューラルネットワークにのみ依存して、システムの事前の知識なしに、基礎となる微分方程式を明らかにすることを目指している。 本稿では,LotkaVolterraシステムの予測と予測に,Neural ODEとUDEの両方を効果的に活用できることを実証する。 基礎となるダイナミクスを効果的に回復し、トレーニングデータを大幅に減らして正確な予測を行うことで、UDEがニューラルODEより優れているかを観察した。
  論文  参考訳（メタデータ） (2024-11-11T10:40:45Z)
• A prescriptive theory for brain-like inference [0.0]
  Evidence Lower Bound (ELBO) の最大化はベイズ後部推論を行うスパイクニューラルネットワークに繋がることを示す。 結果のモデルである反復型Poisson VAEは、以前の脳にインスパイアされた予測モデルよりも生物学的ニューロンと密接な関係を持つ。 これらの結果は,ELBOの最適化とPoissonの仮定が相まって,NeuroAIにおける規範的理論の確立の基盤となることを示唆している。
  論文  参考訳（メタデータ） (2024-10-25T06:00:18Z)
• Physics-Informed Neural Networks with Hard Linear Equality Constraints [9.101849365688905]
  本研究は,線形等式制約を厳格に保証する物理インフォームドニューラルネットワークKKT-hPINNを提案する。 溶融タンク炉ユニット, 抽出蒸留サブシステム, 化学プラントのアスペンモデル実験により, このモデルが予測精度をさらに高めることを示した。
  論文  参考訳（メタデータ） (2024-02-11T17:40:26Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
  エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
  論文  参考訳（メタデータ） (2021-04-15T15:34:58Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Sobolev training of thermodynamic-informed neural networks for smoothed elasto-plasticity models with level set hardening [0.0]
  本研究では, 可視成分を用いた平滑な弾塑性モデルの学習を目的としたディープラーニングフレームワークを提案する。 収率関数を進化レベル集合として再キャストすることにより、ハミルトン・ヤコビ方程式の解を予測する機械学習手法を導入する。
  論文  参考訳（メタデータ） (2020-10-15T22:43:32Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。