論文の概要: Neuronal Stochastic Attention Circuit (NSAC) for Probabilistic Representation Learning

• arxiv url: http://arxiv.org/abs/2605.26061v1
• Date: Mon, 25 May 2026 17:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.542535
• Title: Neuronal Stochastic Attention Circuit (NSAC) for Probabilistic Representation Learning
• Title（参考訳）: 確率的表現学習のための神経確率的注意回路(NSAC)
• Authors: Waleed Razzaq, Yun-Bo Zhao,
• Abstract要約: そこで我々は,Ornstein-Uhlenbeck微分方程式として注目ロジットを再構成する新しいCTアテンションアーキテクチャであるNeuronal Attention Circuit (NSAC)を紹介した。 NSACは、神経細胞レベルで解釈しながら、合理的に校正された不確実性推定を生成する。
• 参考スコア（独自算出の注目度）: 2.312232949770907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable quantification of uncertainty estimates in continuous-time (CT) representation learning remains nascent, particularly within CT attention architectures. We introduce the Neuronal Stochastic Attention Circuit (NSAC), a novel biologically-inspired CT attention architecture that reformulates attention logit computation as the solution of an Ornstein-Uhlenbeck stochastic differential equation modulated by input-dependent, nonlinear interlinked gates derived from repurposed C.elegans Neuronal Circuit Policies (NCPs) wiring mechanism. It induces Gaussian distribution over logits that propagates principled stochasticity through logistic-normal distribution over attention weights to yield probabilistic output. A two-term objective function combining Gaussian negative log-likelihood with an epistemic-separation regularizer enforces higher predictive variance and enables joint quantification of aleatoric and epistemic uncertainty. Empirically, we implement NSAC in a diverse set of learning tasks including: (i) irregular CT function approximation; (ii) multivariate regression; (iii) long-range forecasting; (iv) Industry 4.0; and (v) the lane-keeping of autonomous vehicles. We observe that the NSAC remains competitive against several baselines in terms of accuracy and produces reasonably well-calibrated uncertainty estimates while being interpretable at the neuronal cell level.
• Abstract（参考訳）: 連続時間(CT)表現学習における不確実性推定の信頼性の定量化は、特にCTアテンションアーキテクチャにおいて、まだ初期段階である。 我々は,C.elegans Neuronal Circuit Policies (NCPs) の配線機構を応用し,入力依存の非線形リンクゲートによって変調されたOrnstein-Uhlenbeck確率微分方程式の解として,注目ロジット計算を再構成する,生物学的に着想を得た新しいCTアテンションアーキテクチャであるNeuronal Stochastic Attention Circuit (NSAC)を紹介した。 これは対数上のガウス分布を誘導し、注意重みの対数正規分布を通じて確率的出力を得る。 ガウス陰性対数類似度とてんかん分離正則化器を組み合わせた2段階の客観的関数は、高い予測的分散を強制し、失語症とてんかんの不確実性のジョイント定量化を可能にする。 経験的に、NSACは次のような多様な学習タスクに実装されています。 (i)不規則なCT機能近似 (二)多変量回帰 (三)長距離予報 (四 産業 4.0 及び 五 自動運転車の車線維持 我々は、NSACが精度の点でいくつかの基準線と競争し続けていることを観察し、神経細胞レベルで解釈可能でありながら、合理的に校正された不確実性を推定する。

関連論文リスト

• A Simple Approximate Bayesian Inference Neural Surrogate for Stochastic Petri Net Models [0.0]
  後部分布フレームワークのニューラルネットワークに基づく近似を導入する。 我々のモデルは、Gilespie-simulated SPN realizations上で訓練された1D Convolutional Residual Networkを使用する。 20%の欠落事象を持つ合成SPNでは, RMSE = 0.108で速度関数係数を回復し, 従来のベイズ手法よりもかなり高速に動作する。
  論文  参考訳（メタデータ） (2025-07-14T18:31:19Z)
• STACI: Spatio-Temporal Aleatoric Conformal Inference [12.74402506745844]
  STACIは非常にスケーラブルで、ニューラルネットワークモデルのトレーニング機能を活用する。 競合するディープメソッドを正確な時間的プロセスで上回ります。
  論文  参考訳（メタデータ） (2025-05-27T18:32:54Z)
• Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
  線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。 マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Dynamic Bayesian Network Auxiliary ABC-SMC for Hybrid Model Bayesian Inference to Accelerate Biomanufacturing Process Mechanism Learning and Robust Control [2.727760379582405]
  本稿では,バイオプロセッシング機構の複雑な因果関係を特徴付ける知識グラフハイブリッドモデルを提案する。 非線形反応、部分的に観察された状態、非定常力学を含む重要な性質を忠実に捉えることができる。 我々は、メカニズム学習を容易にし、ロバストなプロセス制御を支援する後部分布モデルの不確かさを導出する。
  論文  参考訳（メタデータ） (2022-05-05T02:54:21Z)
• Neural Stochastic Contraction Metrics for Learning-based Control and Estimation [13.751135823626493]
  NSCMフレームワークにより、自律エージェントは最適な安定制御と推定ポリシーをリアルタイムで近似することができる。 これは、状態依存リカティ方程式、反復LQR、EKF、神経収縮など、既存の非線形制御と推定技術より優れている。
  論文  参考訳（メタデータ） (2020-11-06T03:04:42Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。