論文の概要: Expressive probabilistic sampling in recurrent neural networks
- arxiv url: http://arxiv.org/abs/2308.11809v2
- Date: Wed, 1 Nov 2023 20:37:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 16:55:14.941806
- Title: Expressive probabilistic sampling in recurrent neural networks
- Title（参考訳）: リカレントニューラルネットワークにおける表現確率的サンプリング
- Authors: Shirui Chen, Linxin Preston Jiang, Rajesh P. N. Rao, Eric Shea-Brown
- Abstract要約: 本稿では, 任意の確率分布から, 出力単位を分離した再帰型ニューラルネットワークの発火速度のダイナミクスをサンプリングできることを示す。
本稿では, RSNがLangevinサンプリングを実装しているような繰り返しおよび出力重みを求める, スコアマッチングに基づく効率的なトレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 4.3900330990701235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In sampling-based Bayesian models of brain function, neural activities are
assumed to be samples from probability distributions that the brain uses for
probabilistic computation. However, a comprehensive understanding of how
mechanistic models of neural dynamics can sample from arbitrary distributions
is still lacking. We use tools from functional analysis and stochastic
differential equations to explore the minimum architectural requirements for
$\textit{recurrent}$ neural circuits to sample from complex distributions. We
first consider the traditional sampling model consisting of a network of
neurons whose outputs directly represent the samples (sampler-only network). We
argue that synaptic current and firing-rate dynamics in the traditional model
have limited capacity to sample from a complex probability distribution. We
show that the firing rate dynamics of a recurrent neural circuit with a
separate set of output units can sample from an arbitrary probability
distribution. We call such circuits reservoir-sampler networks (RSNs). We
propose an efficient training procedure based on denoising score matching that
finds recurrent and output weights such that the RSN implements Langevin
sampling. We empirically demonstrate our model's ability to sample from several
complex data distributions using the proposed neural dynamics and discuss its
applicability to developing the next generation of sampling-based brain models.
- Abstract（参考訳）: サンプリングに基づく脳機能のベイズモデルでは、神経活動は脳が確率計算に使用する確率分布のサンプルであると仮定される。
しかし、神経動力学の機械的なモデルが任意の分布からどのようにサンプルできるかの包括的理解はまだ欠けている。
関数解析と確率微分方程式のツールを使って、複素分布からサンプルを得るために$\textit{recurrent}$ニューラルネットワークの最小アーキテクチャ要件を探求する。
まず,出力がサンプル(サンプルのみのネットワーク)を直接表現するニューロンのネットワークからなる従来のサンプリングモデルを検討する。
従来のモデルにおけるシナプス電流と発火速度のダイナミクスは、複雑な確率分布からサンプルをサンプリングする能力に制限がある。
本稿では, 任意の確率分布から, 出力単位を分離した再帰型ニューラルネットワークの発火速度のダイナミクスをサンプリングできることを示す。
このような回路をリザーブ・サンプラーネットワーク (RSN) と呼ぶ。
本稿では, RSNがLangevinサンプリングを実装しているような繰り返しおよび出力重みを求める, スコアマッチングに基づく効率的なトレーニング手法を提案する。
提案するニューラルダイナミクスを用いて,複数の複雑なデータ分布から標本を抽出できるモデルの能力を実証し,その次世代の標本ベース脳モデルへの適用性について検討した。
関連論文リスト
- Training Guarantees of Neural Network Classification Two-Sample Tests by Kernel Analysis [58.435336033383145]
2つのデータセットが同じ分布から来たかどうかを判断するために、ニューラルネットワークの2サンプルテストを構築し、分析する。
NTK2サンプルテストがデータセット間の偏差レベルを検出するのに必要となる、理論的に最小限のトレーニング時間を導出する。
ニューラルネットワークのトレーニングサンプルとテスト評価サンプルが無限に近づくにつれて、ニューラルネットワークの2サンプルテストに関連する統計的パワーは1になる。
論文 参考訳（メタデータ） (2024-07-05T18:41:16Z) - Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。
本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
論文 参考訳（メタデータ） (2024-05-11T21:23:55Z) - On Feynman--Kac training of partial Bayesian neural networks [1.6474447977095783]
部分ベイズニューラルネットワーク(pBNN)は、完全なベイズニューラルネットワークと競合することが示されている。
本稿では,Feynman-Kacモデルのシミュレーションとして,pBNNのトレーニングを定式化した効率的なサンプリングベーストレーニング戦略を提案する。
提案手法は, 予測性能において, 技術状況よりも優れることを示す。
論文 参考訳（メタデータ） (2023-10-30T15:03:15Z) - Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳（メタデータ） (2023-10-30T11:41:41Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Adaptive Conditional Quantile Neural Processes [9.066817971329899]
条件量子ニューラルプロセス(CQNP)は、ニューラルプロセスファミリーの新たなメンバーである。
本稿では,情報量推定に焦点をあてることから学習する量子レグレッションの拡張を提案する。
実データと合成データセットによる実験は、予測性能を大幅に改善した。
論文 参考訳（メタデータ） (2023-05-30T06:19:19Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Variational inference formulation for a model-free simulation of a
dynamical system with unknown parameters by a recurrent neural network [8.616180927172548]
本研究では,事前知識のない未知パラメータを持つ力学系の「モデルフリー」シミュレーションを提案する。
ディープラーニングモデルは,非線形時間行進演算子と未知パラメータの影響を時系列データセットから共同学習することを目的としている。
提案したディープラーニングモデルは,乱数パラメータの次元を正確に同定し,複雑な時系列データの表現を学習することができる。
論文 参考訳（メタデータ） (2020-03-02T20:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。