論文の概要: Scalable Generalized Bayesian Online Neural Network Training for Sequential Decision Making

• arxiv url: http://arxiv.org/abs/2506.11898v1
• Date: Fri, 13 Jun 2025 15:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.861672
• Title: Scalable Generalized Bayesian Online Neural Network Training for Sequential Decision Making
• Title（参考訳）: 逐次決定のためのスケーラブル一般化ベイズオンラインニューラルネットワークトレーニング
• Authors: Gerardo Duran-Martin, Leandro Sánchez-Betancourt, Álvaro Cartea, Kevin Murphy,
• Abstract要約: オンライン学習のためのスケーラブルなアルゴリズムを導入し,ニューラルネットワークパラメータのベイズ推論を一般化した。 私たちのメソッドは、バッファを再生したりオフラインでリトレーニングしたりすることなく、すべてのネットワークパラメータをオンラインで更新します。
• 参考スコア（独自算出の注目度）: 4.2994653504704194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce scalable algorithms for online learning and generalized Bayesian inference of neural network parameters, designed for sequential decision making tasks. Our methods combine the strengths of frequentist and Bayesian filtering, which include fast low-rank updates via a block-diagonal approximation of the parameter error covariance, and a well-defined posterior predictive distribution that we use for decision making. More precisely, our main method updates a low-rank error covariance for the hidden layers parameters, and a full-rank error covariance for the final layer parameters. Although this characterizes an improper posterior, we show that the resulting posterior predictive distribution is well-defined. Our methods update all network parameters online, with no need for replay buffers or offline retraining. We show, empirically, that our methods achieve a competitive tradeoff between speed and accuracy on (non-stationary) contextual bandit problems and Bayesian optimization problems.
• Abstract（参考訳）: オンライン学習のためのスケーラブルなアルゴリズムを導入し、逐次意思決定タスク用に設計されたニューラルネットワークパラメータのベイズ推論を一般化した。 提案手法は,パラメータ誤差共分散のブロック対角近似による高速な低ランク更新と,意思決定に使用する事前予測分布を含む,頻繁なフィルタとベイズフィルタの長所を組み合わせたものである。 より正確には、本手法では、隠蔽層パラメータの低ランクエラー共分散と最終層パラメータのフルランクエラー共分散を更新する。 これは不適切な後部を特徴付けるが、結果として生じる後部予測分布が適切に定義されていることを示す。 私たちのメソッドは、バッファを再生したりオフラインでリトレーニングしたりすることなく、すべてのネットワークパラメータをオンラインで更新します。 実験により,この手法が(静止しない)文脈帯域問題とベイズ最適化問題において,速度と精度の競合的なトレードオフを実現することを示す。

関連論文リスト

• Walking on the Fiber: A Simple Geometric Approximation for Bayesian Neural Networks [14.632351275859696]
  本研究では,後部探査のためのサンプリング手法を再検討する。 本稿では,パラメータ空間の変形を学習し,反復的手法を必要とせずに高速な後続サンプリングを可能にするモデルを提案する。 実験結果から,本手法は後方近似の競合性を実証した。
  論文  参考訳（メタデータ） (2025-12-01T10:24:10Z)
• A Simple Approximate Bayesian Inference Neural Surrogate for Stochastic Petri Net Models [0.0]
  後部分布フレームワークのニューラルネットワークに基づく近似を導入する。 我々のモデルは、Gilespie-simulated SPN realizations上で訓練された1D Convolutional Residual Networkを使用する。 20%の欠落事象を持つ合成SPNでは, RMSE = 0.108で速度関数係数を回復し, 従来のベイズ手法よりもかなり高速に動作する。
  論文  参考訳（メタデータ） (2025-07-14T18:31:19Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
  我々は、標準フィードフォワード修正ニューラルネットワークの緩和版を構築した。 我々は、条件付き線形およびガウス的モデルをレンダリングするために、Polya-Gammaデータ拡張トリックを用いる。 層間における分布仮定や独立性を回避する変分推論アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-11-17T17:36:30Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Robust and integrative Bayesian neural networks for likelihood-free parameter inference [0.0]
  要約統計を学習するための最先端のニューラルネットワークベースの手法は、シミュレーションベースの確率自由パラメータ推論に有望な結果をもたらした。 本研究では,ベイズニューラルネットワークを用いて要約統計学を学習し,カテゴリー分布を用いて後部密度を直接推定する頑健な統合手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T13:45:23Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。