論文の概要: Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation

• arxiv url: http://arxiv.org/abs/2609.27244v1
• Date: Wed, 23 Sep 2026 02:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.841447
• Title: Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation
• Title（参考訳）: オンライン適応のためのベイズニューラルネットワークの完全共分散平滑化
• Abstract要約: ニューラルネットワークの層は状態空間モデルの時間ステップとして扱うことができる。 フォワードパスはネットワークを介してガウスモーメントを伝搬する。 後向きのRuch--Tung--Striebelパスは、重みの後部を閉じた形で更新する。
• 参考スコア（独自算出の注目度）: 14.14658703018541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A neural network's layers can be treated as time steps of a state-space model, turning Bayesian training into a smoothing problem: a forward pass propagates Gaussian moments through the network, and a backward Rauch--Tung--Striebel pass updates the weight posteriors in closed form. Such methods learn from each observation in a single pass, in an uncertainty-aware manner, and without gradient-based iterations or replay, which makes them well suited for online adaptation and data-efficient learning. Existing smoothing-based methods, however, are restricted to diagonal covariances across activations, discarding correlations between neurons. We overcome this limitation via a cross-covariance identity that enables full-covariance propagation through a network's nonlinear activations. We derive a one-step-per-layer smoother that approximates as Gaussian only each layer's affine output, and that applies both to deterministic systems with noisy observations and to stochastic systems described by output statistics. We demonstrate this method in non-stationary classification, online dynamics learning, and policy adaptation of a vision-language-action model, and find that it is generally more accurate than other smoothing-based methods.
• Abstract（参考訳）: ニューラルネットワークの層は状態空間モデルの時間ステップとして扱うことができ、ベイジアントレーニングをスムーズな問題に変える:フォワードパスはネットワークを介してガウスモーメントを伝播し、後方のラウチ・トゥング・ストリーベルパスは閉形式で重みの後部を更新する。 このような手法は、1回のパスで、不確実性を認識し、勾配に基づく反復やリプレイなしで、各観察から学習し、オンライン適応やデータ効率の学習に適している。 しかし、既存の平滑化法は、ニューロン間の相関をなくし、活性化の対角的な共分散に制限されている。 ネットワークの非線形なアクティベーションを通した完全共分散伝播を可能にするクロス共分散IDにより、この制限を克服する。 我々は,各層のアフィン出力のみをガウス的に近似した1ステップ毎のスムースメントを導出し,ノイズ観測による決定系と,出力統計によって記述された確率系の両方に適用する。 本手法は,非定常分類,オンライン力学学習,視覚言語行動モデルのポリシー適応において実証され,他のスムーズな手法よりも一般的に正確であることがわかった。

関連論文リスト

• Training of Spiking Neural Networks with Expectation-Propagation [9.24888258922809]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための統一メッセージパッシングフレームワークを提案する。 本手法は,ネットワークパラメータの辺り分布を学習し,隠れ層の出力などのパラメータの辺縁化を同時に行うことができる。
  論文  参考訳（メタデータ） (2025-06-30T11:59:56Z)
• Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning [3.7857410821449755]
  本研究は,2つの視点を橋渡しする多段階適応型特徴学習の理論的枠組みを示す。 ネットワークの確率分布の体系的な拡張により、平均場スケーリングはサドル点近似のみを必要とすることが明らかになった。 線形および非線形ネットワークの場合、マルチスケール適応アプローチは指向性特徴学習効果をキャプチャする。
  論文  参考訳（メタデータ） (2025-02-05T14:26:50Z)
• BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
  我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。 主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。 これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
  論文  参考訳（メタデータ） (2024-11-18T22:18:34Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering [0.20305676256390928]
  本研究では,非線形システム同定ベンチマークにおいて,学習手法が勾配勾配よりも優れていることを示す。 また、データ駆動非線形モデル予測制御におけるアルゴリズムの利用と、オフセットフリートラッキングにおける外乱モデルとの関係についても検討する。
  論文  参考訳（メタデータ） (2021-11-04T07:49:15Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。