論文の概要: Applications of the Free Energy Principle to Machine Learning and
Neuroscience
- arxiv url: http://arxiv.org/abs/2107.00140v1
- Date: Wed, 30 Jun 2021 22:53:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 13:48:39.702682
- Title: Applications of the Free Energy Principle to Machine Learning and
Neuroscience
- Title（参考訳）: 自由エネルギー原理の機械学習と神経科学への応用
- Authors: Beren Millidge
- Abstract要約: 我々は、自由エネルギー原理にインスパイアされた手法を機械学習と神経科学の2つの重要な分野に適用する。
我々は、自由エネルギー原理から派生した神経生物学的に妥当なプロセス理論である予測符号化に焦点を当てる。
第2に、変動メッセージパッシングによる行動の神経生物学的根拠である能動推論について検討する。
最後に, 生物学的に有効な脳内クレジット代入法について検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this PhD thesis, we explore and apply methods inspired by the free energy
principle to two important areas in machine learning and neuroscience. The free
energy principle is a general mathematical theory of the necessary
information-theoretic behaviours of systems that maintain a separation from
their environment. A core postulate of the theory is that complex systems can
be seen as performing variational Bayesian inference and minimizing an
information-theoretic quantity called the variational free energy. The thesis
is structured into three independent sections. Firstly, we focus on predictive
coding, a neurobiologically plausible process theory derived from the free
energy principle which argues that the primary function of the brain is to
minimize prediction errors, showing how predictive coding can be scaled up and
extended to be more biologically plausible, and elucidating its close links
with other methods such as Kalman Filtering. Secondly, we study active
inference, a neurobiologically grounded account of action through variational
message passing, and investigate how these methods can be scaled up to match
the performance of deep reinforcement learning methods. We additionally provide
a detailed mathematical understanding of the nature and origin of the
information-theoretic objectives that underlie exploratory behaviour. Finally,
we investigate biologically plausible methods of credit assignment in the
brain. We first demonstrate a close link between predictive coding and the
backpropagation of error algorithm. We go on to propose novel and simpler
algorithms which allow for backprop to be implemented in purely local,
biologically plausible computations.
- Abstract（参考訳）: 本稿では,自由エネルギー原理から着想を得た手法を,機械学習と神経科学の2つの重要な分野に適用する。
自由エネルギー原理 (Free Energy principle) は、環境からの分離を維持するシステムに必要な情報理論的振る舞いに関する一般的な数学的理論である。
この理論の核となる仮定は、複雑な系は変分ベイズ推論を実行し、変分自由エネルギーと呼ばれる情報理論量の最小化とみなすことができるということである。
論文は3つの独立したセクションに分けられる。
まず,脳の一次機能は予測エラーを最小限に抑えることであり,予測符号化がより生物学的に妥当に拡張され,カルマン・フィルタリングなどの他の手法との密接な関係を解明することである,という自由エネルギー原理から導かれる神経生物学的にもっともらしいプロセス理論である予測符号化に注目した。
第2に, 能動推論, 変動的メッセージパッシングによる行動の神経生物学的解析, およびこれらの手法を, 深層強化学習法の性能に適合させる方法について検討した。
さらに,探索行動の根底にある情報理論的目的の性質と起源を数学的に詳細に理解する。
最後に, 生物学的に有効な脳内クレジット代入法について検討した。
まず,予測符号化と誤差アルゴリズムのバックプロパゲーションとの密接な関係を示す。
我々は、バックプロップを純粋に局所的で生物学的に妥当な計算に実装できる、新しくてシンプルなアルゴリズムを提案している。
関連論文リスト
- Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。
我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。
我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
論文 参考訳（メタデータ） (2024-10-08T17:41:37Z) - A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。
本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。
我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
論文 参考訳（メタデータ） (2024-02-16T18:05:09Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Duality Principle and Biologically Plausible Learning: Connecting the
Representer Theorem and Hebbian Learning [15.094554860151103]
我々はRepresenter定理が生物学的に妥当な学習アルゴリズムを研究するのに最適なレンズであると主張している。
私たちの研究は、ニューラルネットワークの理解を深める上で、Representer定理の重要な役割に光を当てています。
論文 参考訳（メタデータ） (2023-08-02T20:21:18Z) - A theory of learning with constrained weight-distribution [17.492950552276067]
構造情報を制約として組み込んだニューラルネットワークにおける学習の統計力学的理論を開発する。
我々は,確率分布のワッサーシュタイン空間における測地流として,我々のアルゴリズムのトレーニングを解釈できることを示した。
我々の理論とアルゴリズムは、ウェイトに関する事前知識を学習に取り入れる新しい戦略を提供し、ニューラルネットワークの構造と機能の間の強力な関係を明らかにする。
論文 参考訳（メタデータ） (2022-06-14T00:43:34Z) - Predictive Coding and Stochastic Resonance: Towards a Unified Theory of
Auditory (Phantom) Perception [6.416574036611064]
脳機能の機械的理解を得るためには、仮説駆動実験には生物学的に妥当な計算モデルが伴わなければならない。
本稿では,人工知能,心理学,神経科学の交差点における最近の研究について概説する。
脳内でユビキタスである2つの基本的な処理原則は、多数の実験結果に最も適していると結論付けます。
論文 参考訳（メタデータ） (2022-04-07T10:47:58Z) - Brain Principles Programming [0.3867363075280543]
脳原理プログラミング(Brain Principles Programming、BPP)は、脳の働きの普遍的なメカニズム(原理)を情報と共に定式化したものである。
この論文は以下の理論の数学的モデルとアルゴリズムを用いている。
論文 参考訳（メタデータ） (2022-02-13T13:41:44Z) - A Mathematical Walkthrough and Discussion of the Free Energy Principle [0.0]
自由エネルギー原理(英: Free-Energy-Principle、FEP)は、自己組織化の熱力学と変分推論による学習との関係を仮定する影響力があり、議論を呼んでいる理論である。
FEPは神経科学に広く応用され、行動、知覚、学習が単一の目的の下で統一される新しい強力なアルゴリズムの構築を刺激することで、機械学習に進出し始めている。
ここでは、FEPの定式化と中心的主張の数学的に詳細かつ直感的なウォークスルーを提供するとともに、理論の仮定と潜在的な限界について議論する。
論文 参考訳（メタデータ） (2021-08-30T16:11:49Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。
この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。
これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
論文 参考訳（メタデータ） (2020-11-30T18:29:25Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳（メタデータ） (2020-10-02T15:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。