論文の概要: The principles of adaptation in organisms and machines II:
Thermodynamics of the Bayesian brain
- arxiv url: http://arxiv.org/abs/2006.13158v1
- Date: Tue, 23 Jun 2020 16:57:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 23:38:28.135368
- Title: The principles of adaptation in organisms and machines II:
Thermodynamics of the Bayesian brain
- Title（参考訳）: 生物と機械における適応原理ii:ベイズ脳の熱力学
- Authors: Hideaki Shimazaki
- Abstract要約: この記事では、ベイジアン推論の観点から、ニューラルネットワークのダイナミクスを通じて生物がどのように世界を学び、認識するかをレビューする。
次に、神経活動のエントロピーの法則に基づいて、この過程に関する熱力学的見解を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article reviews how organisms learn and recognize the world through the
dynamics of neural networks from the perspective of Bayesian inference, and
introduces a view on how such dynamics is described by the laws for the entropy
of neural activity, a paradigm that we call thermodynamics of the Bayesian
brain. The Bayesian brain hypothesis sees the stimulus-evoked activity of
neurons as an act of constructing the Bayesian posterior distribution based on
the generative model of the external world that an organism possesses. A closer
look at the stimulus-evoked activity at early sensory cortices reveals that
feedforward connections initially mediate the stimulus-response, which is later
modulated by input from recurrent connections. Importantly, not the initial
response, but the delayed modulation expresses animals' cognitive states such
as awareness and attention regarding the stimulus. Using a simple generative
model made of a spiking neural population, we reproduce the stimulus-evoked
dynamics with the delayed feedback modulation as the process of the Bayesian
inference that integrates the stimulus evidence and a prior knowledge with
time-delay. We then introduce a thermodynamic view on this process based on the
laws for the entropy of neural activity. This view elucidates that the process
of the Bayesian inference works as the recently-proposed information-theoretic
engine (neural engine, an analogue of a heat engine in thermodynamics), which
allows us to quantify the perceptual capacity expressed in the delayed
modulation in terms of entropy.
- Abstract（参考訳）: 本稿では, ベイズ推論の観点から, ニューラルネットのダイナミクスを通して, 生物がどのように世界を学習し認識するかを考察し, それらのダイナミクスが, ベイズ脳の熱力学と呼ばれるパラダイムである神経活動のエントロピーの法則によってどのように記述されているかを説明する。
ベイズ脳仮説は、ニューロンの刺激によって誘発される活動は、生物が持つ外界の生成モデルに基づいてベイズ後層分布を構築する行為であると考えている。
初期の感覚皮質における刺激誘発活動は、フィードフォワード接続が最初に刺激応答を媒介し、後に繰り返し接続からの入力によって変調されることを示した。
重要なことに、最初の反応ではなく、遅延変調は動物の意識や刺激に対する注意といった認知状態を表す。
スパイキング神経集団からなる単純な生成モデルを用いて、刺激の証拠と事前の知識を時間遅延と統合するベイズ推論の過程として、遅延フィードバック変調を伴う刺激誘発ダイナミクスを再現する。
次に、神経活動のエントロピーの法則に基づいて、この過程に関する熱力学的見解を紹介する。
この見解は、ベイズ推論の過程が、最近提案された情報理論エンジン(ニューラルエンジン、熱力学における熱エンジンのアナログ)として機能し、エントロピーの観点から遅延変調で表される知覚能力の定量化を可能にする。
関連論文リスト
- Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Stimulus-to-Stimulus Learning in RNNs with Cortical Inductive Biases [0.0]
大脳皮質に広まる2種類の誘導バイアスを用いた刺激置換の繰り返しニューラルネットワークモデルを提案する。
本研究では,モデルが幅広い条件づけ現象を発生させ,学習量と多数の関連性を学習可能であることを示す。
我々の枠組みは、大脳皮質におけるマルチコンパートメントニューロン処理の重要性を強調し、大脳皮質動物を進化の端とみなす方法を示している。
論文 参考訳（メタデータ） (2024-09-20T13:01:29Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Goal-Driven Approach to Systems Neuroscience [2.6451153531057985]
人間と動物は、動的環境において様々な興味深い行動を示す。
私たちの脳が、こうした行動を可能にするために、どのようにしてこの密集した感覚情報を積極的に再構築するかは不明です。
我々は、ニューラルサーキットの統一構造モデルと機能モデルを生み出すことを約束する新しい解釈可能性の定義を提供する。
論文 参考訳（メタデータ） (2023-11-05T16:37:53Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Formalising the Use of the Activation Function in Neural Inference [0.0]
生体ニューロンのスパイクが、統計物理学における特定の位相遷移のクラスに属するかについて議論する。
人工ニューロンは生物学的神経膜力学の平均場モデルであることが数学的に示されている。
これにより、選択的神経発射を抽象的に処理し、パーセプトロン学習における活性化機能の役割を定式化する。
論文 参考訳（メタデータ） (2021-02-02T19:42:21Z) - Neuronal Sequence Models for Bayesian Online Inference [0.0]
連続神経活動は、脳内の幅広いプロセスの基盤となる。
ニューロン配列の神経科学的証拠は、知覚、運動制御、スピーチ、空間ナビゲーション、記憶といった領域で報告されている。
本稿では、ニューロン配列に関する重要な知見を概説し、感覚運動処理と認識のモデルとして、シーケンスのオンライン推論の概念に関連付ける。
論文 参考訳（メタデータ） (2020-04-02T10:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。