論文の概要: BARNN: A Bayesian Autoregressive and Recurrent Neural Network

• arxiv url: http://arxiv.org/abs/2501.18665v1
• Date: Thu, 30 Jan 2025 15:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:11.570520
• Title: BARNN: A Bayesian Autoregressive and Recurrent Neural Network
• Title（参考訳）: BARNN: ベイジアン自動回帰とリカレントニューラルネットワーク
• Authors: Dario Coscia, Max Welling, Nicola Demo, Gianluigi Rozza,
• Abstract要約: 本稿では,変分ベイズ自己回帰とリカレントニューラルネットワークのBARNNについて述べる。 BARNNは、任意の自己回帰モデルやリカレントモデルをベイズバージョンに変換する、原則化された方法を提供することを目指している。 また,ベイジアン推論を効率的かつよく校正するために,前部(tVAMP-prior)の時間版"Variational Mixtures of Posteriors"を導入する。
• 参考スコア（独自算出の注目度）: 40.64742332352373
• License:
• Abstract: Autoregressive and recurrent networks have achieved remarkable progress across various fields, from weather forecasting to molecular generation and Large Language Models. Despite their strong predictive capabilities, these models lack a rigorous framework for addressing uncertainty, which is key in scientific applications such as PDE solving, molecular generation and Machine Learning Force Fields. To address this shortcoming we present BARNN: a variational Bayesian Autoregressive and Recurrent Neural Network. BARNNs aim to provide a principled way to turn any autoregressive or recurrent model into its Bayesian version. BARNN is based on the variational dropout method, allowing to apply it to large recurrent neural networks as well. We also introduce a temporal version of the "Variational Mixtures of Posteriors" prior (tVAMP-prior) to make Bayesian inference efficient and well-calibrated. Extensive experiments on PDE modelling and molecular generation demonstrate that BARNN not only achieves comparable or superior accuracy compared to existing methods, but also excels in uncertainty quantification and modelling long-range dependencies.
• Abstract（参考訳）: 自己回帰的・再帰的ネットワークは,天気予報から分子生成,大規模言語モデルに至るまで,様々な分野において顕著な進歩を遂げている。 強い予測能力にもかかわらず、これらのモデルは不確実性に対処するための厳格な枠組みを欠いている。 この欠点に対処するために、BARNN: 変分ベイズ自動回帰およびリカレントニューラルネットワークを提案する。 BARNNは、任意の自己回帰モデルやリカレントモデルをベイズバージョンに変換する、原則化された方法を提供することを目指している。 BARNNは変分ドロップアウト法に基づいており、大規模なリカレントニューラルネットワークにも適用することができる。 また,ベイジアン推論を効率的かつよく校正するために,前部(tVAMP-prior)の時間版"Variational Mixtures of Posteriors"を導入する。 PDEモデリングと分子生成に関する大規模な実験により、BARNNは既存の手法と同等または優れた精度を達成できるだけでなく、不確実な定量化や長距離依存のモデル化にも優れていることが示された。

関連論文リスト

• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Improving Adversarial Robustness of DEQs with Explicit Regulations Along the Neural Dynamics [26.94367957377311]
  ディープ・平衡(DEQ)モデルは、従来のディープ・ネットワークの多重層積み重ねを単一層変換の固定点反復で置き換える。 既存の作業は、広く使われている対戦訓練(AT)フレームワークで一般的なDECモデルの堅牢性を改善するが、DECモデルの構造的特異性を利用するには至らなかった。 ニューラルダイナミクスに沿って入力を段階的に更新することで予測エントロピーを低減することを提案する。 我々の手法はDECモデルのロバスト性を大幅に向上させ、強力なディープネットワークベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-06-02T10:49:35Z)
• Probabilistic AutoRegressive Neural Networks for Accurate Long-range Forecasting [6.295157260756792]
  確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。 PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。 本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-01T17:57:36Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。