論文の概要: Autonomous learning of nonlocal stochastic neuron dynamics

• arxiv url: http://arxiv.org/abs/2011.10955v2
• Date: Tue, 7 Sep 2021 19:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 12:26:55.386095
• Title: Autonomous learning of nonlocal stochastic neuron dynamics
• Title（参考訳）: 非局所確率ニューロンダイナミクスの自律学習
• Authors: Tyler E. Maltba (1), Hongli Zhao (1), Daniel M. Tartakovsky (2) ((1) UC Berkeley, (2) Stanford University)
• Abstract要約: 神経力学は、外部に課されたまたは内部的に生成されたランダム励起/ノイズによって駆動され、しばしばランダムまたは通常の微分方程式の系によって記述される。 刺激とニューロンの様々な内部状態の間の相互情報のような情報理論量を計算するのに使うことができる。 本研究では, 局所的な非局所的大微分率閉包法と, スパース回帰に依拠して関連する特徴を学習するデータドディ閉包法という2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuronal dynamics is driven by externally imposed or internally generated random excitations/noise, and is often described by systems of random or stochastic ordinary differential equations. Such systems admit a distribution of solutions, which is (partially) characterized by the single-time joint probability density function (PDF) of system states. It can be used to calculate such information-theoretic quantities as the mutual information between the stochastic stimulus and various internal states of the neuron (e.g., membrane potential), as well as various spiking statistics. When random excitations are modeled as Gaussian white noise, the joint PDF of neuron states satisfies exactly a Fokker-Planck equation. However, most biologically plausible noise sources are correlated (colored). In this case, the resulting PDF equations require a closure approximation. We propose two methods for closing such equations: a modified nonlocal large-eddy-diffusivity closure and a data-driven closure relying on sparse regression to learn relevant features. The closures are tested for the stochastic non-spiking leaky integrate-and-fire and FitzHugh-Nagumo (FHN) neurons driven by sine-Wiener noise. Mutual information and total correlation between the random stimulus and the internal states of the neuron are calculated for the FHN neuron.
• Abstract（参考訳）: ニューロンのダイナミクスは外部からの強制的または内部的なランダムな励起/ノイズによって駆動され、しばしばランダムあるいは確率的常微分方程式の系によって記述される。 そのような系は解の分布を認め、それは(部分的に)システム状態の単一時間合同確率密度関数(pdf)によって特徴づけられる。 確率的刺激とニューロンの様々な内部状態(例えば膜電位)の間の相互情報や、様々なスパイキング統計などの情報理論量を計算するのに使うことができる。 ランダムな励起がガウスのホワイトノイズとしてモデル化されるとき、ニューロン状態のジョイントpdfはフォッカー・プランク方程式を満たす。 しかし、ほとんどの生物学的に妥当なノイズ源は相関(色)がある。 この場合、結果のPDF方程式は閉包近似を必要とする。 このような方程式を閉じる2つの方法を提案する: 修正された非局所大渦拡散閉包と、スパース回帰に依存するデータ駆動閉包である。 閉鎖は、確率的に漏れる非スパイク積分と、シネ・ウィーナーノイズによって駆動されるFitzHugh-Nagumo(FHN)ニューロンに対して試験される。 fhnニューロンに対して、ランダム刺激とニューロンの内部状態との相互情報および総相関を算出する。

関連論文リスト

• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Diffusion-based Quantum Error Mitigation using Stochastic Differential Equation [9.913187216180424]
  外部環境との相互作用によって生じるランダムなゆらぎは、量子系の状態に影響を与えるノイズを引き起こし、システムエラーを引き起こす。 本稿では拡散モデルを用いた誤差軽減のための新しい手法を提案する。 この手法は、フォワード・バックワード微分方程式(FBSDE)として状態進化中のノイズ発生の定式化と、スコアベース生成モデル(SGM)を用いて量子状態の誤差を復号化することで実現できる。
  論文  参考訳（メタデータ） (2024-05-23T07:59:26Z)
• Weak Collocation Regression for Inferring Stochastic Dynamics with L\'{e}vy Noise [8.15076267771005]
  本稿では,L'evyノイズを伴う力学を抽出するためのFokker-Planck(FP)方程式の弱い形式を提案する。 本手法は,多次元問題においても混合雑音を同時に識別することができる。
  論文  参考訳（メタデータ） (2024-03-13T06:54:38Z)
• Inferring Inference [7.11780383076327]
  我々は,大規模神経活動パターンから標準分散計算を推定するフレームワークを開発した。 確率的グラフィカルモデルに近似推論アルゴリズムを暗黙的に実装したモデル脳のための記録をシミュレートする。 全体として、このフレームワークはニューラル記録の解釈可能な構造を発見するための新しいツールを提供する。
  論文  参考訳（メタデータ） (2023-10-04T22:12:11Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Neural Stochastic Partial Differential Equations [1.2183405753834562]
  物理に着想を得たニューラルアーキテクチャの2つの重要なクラスの拡張を提供するニューラルSPDEモデルを導入する。 一方、一般的な神経-通常、制御され、粗い-微分方程式モデルをすべて拡張し、入ってくる情報を処理することができる。 一方、関数空間間のマッピングをモデル化するニューラルネットワークの最近の一般化であるNeural Operatorsを拡張して、複雑なSPDEソリューション演算子を学習することができる。
  論文  参考訳（メタデータ） (2021-10-19T20:35:37Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
  相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。 ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
  論文  参考訳（メタデータ） (2020-05-25T18:25:54Z)
• Neural network representation of the probability density function of diffusion processes [0.0]
  物理インフォームドニューラルネットワークは、ランダム環境における力学系の状態を特徴付けるために開発された。 解析的,数値的に各微分方程式を解くことの利点と欠点を解析的に検討し,その状態を特徴づける。
  論文  参考訳（メタデータ） (2020-01-15T17:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。