論文の概要: Improving Infinitely Deep Bayesian Neural Networks with Nesterov's Accelerated Gradient Method

• arxiv url: http://arxiv.org/abs/2603.25024v1
• Date: Thu, 26 Mar 2026 04:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.102502
• Title: Improving Infinitely Deep Bayesian Neural Networks with Nesterov's Accelerated Gradient Method
• Title（参考訳）: Nesterovの加速度勾配法による無限深ベイズニューラルネットワークの改良
• Authors: Chenxu Yu, Wenqi Fang,
• Abstract要約: ネステロフ加速勾配(NAG)拡張SDE-BNNモデルを提案する。 本手法は, トレーニングとテストの双方において, 収束を加速し, NFEを著しく低減する。 我々のモデルは、画像分類やシーケンスモデリング、低いNFEの実現、予測精度の向上など、従来のSDE-BNNよりも一貫して優れている。
• 参考スコア（独自算出の注目度）: 0.21485350418225238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a representative continuous-depth neural network approach, stochastic differential equation (SDE)-based Bayesian neural networks (BNNs) have attracted considerable attention due to their solid theoretical foundations and strong potential for real-world applications. However, their reliance on numerical SDE solvers inevitably incurs a large number of function evaluations (NFEs), resulting in high computational cost and occasional convergence instability. To address these challenges, we propose a Nesterov-accelerated gradient (NAG) enhanced SDE-BNN model. By integrating NAG into the SDE-BNN framework along with an NFE-dependent residual skip connection, our method accelerates convergence and substantially reduces NFEs during both training and testing. Extensive empirical results show that our model consistently outperforms conventional SDE-BNNs across various tasks, including image classification and sequence modeling, achieving lower NFEs and improved predictive accuracy.
• Abstract（参考訳）: 確率微分方程式 (SDE) に基づくベイジアンニューラルネットワーク (BNN) は, 理論的基盤の確立と実世界の応用への強い可能性から, 代表的な連続深度ニューラルネットワークアプローチとして注目されている。 しかし、それらの数値SDE解法への依存は、必然的に多数の関数評価(NFE)を引き起こし、高い計算コストと時折収束不安定をもたらす。 これらの課題に対処するため,Nesterov-accelerated gradient (NAG)拡張SDE-BNNモデルを提案する。 SDE-BNNフレームワークにNAGをNFE依存の残差スキップ接続と統合することにより、本手法は収束を加速し、トレーニングとテストの両方においてNFEを大幅に削減する。 その結果,画像分類やシーケンスモデリング,低いNFEの達成,予測精度の向上など,従来のSDE-BNNよりも優れた結果が得られた。

関連論文リスト

• Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。 連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。 このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。 離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:08:03Z)
• ASPINN: An asymptotic strategy for solving singularly perturbed differential equations [12.14934707131722]
  本稿では,物理インフォームドニューラルネットワーク (PINN) と一般結合型物理インフォームドニューラルネットワーク (GKPINN) を一般化した漸近型物理インフォームドニューラルネットワーク (ASPINN) を提案する。 ASPINNは、境界層に指数層が配置されているため、SPDEを解くのに強力な適合性を持つ。 本稿では,ASPINN法が境界層問題において有望であることを示す,多様なSPDEのクラスを解くことでASPINNの効果を実証する。
  論文  参考訳（メタデータ） (2024-09-20T03:25:17Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness [12.330036598899218]
  ニューラルネットワーク(SNN)というランダム性手法が最近提案されている。 MFDV-SNNは既存の手法よりも大幅に改善され、モデルロバスト性を改善するための単純だが効果的な手法であることが示されている。
  論文  参考訳（メタデータ） (2022-01-01T08:46:06Z)
• Accurate and Reliable Forecasting using Stochastic Differential Equations [48.21369419647511]
  ディープラーニングモデルにとって、現実世界の環境に浸透する不確実性を適切に特徴付けることは、非常に困難である。 本論文では,HNNの予測平均と分散の相互作用を特徴づけるSDE-HNNを開発した。 本手法は,予測性能と不確実性定量化の両方の観点から,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-28T04:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。