論文の概要: Investigating Batch Inference in a Sequential Monte Carlo Framework for Neural Networks

• arxiv url: http://arxiv.org/abs/2601.21983v1
• Date: Thu, 29 Jan 2026 16:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.018638
• Title: Investigating Batch Inference in a Sequential Monte Carlo Framework for Neural Networks
• Title（参考訳）: ニューラルネットワークのための連続モンテカルロフレームワークにおけるバッチ推論の検討
• Authors: Andrew Millard, Joshua Murphy, Peter Green, Simon Maskell,
• Abstract要約: ベイズ推論により、汎用ニューラルネットワーク(NN)の重みに対する後部分布を定義することができる そのような近似の1つ、変分推論は、ミニバッチ勾配勾配を用いた場合、計算的に効率的である。 NNを用いたベンチマーク画像分類問題において,精度の低下を最小限に抑えながら,最大6倍の高速トレーニングを実現できることがわかった。
• 参考スコア（独自算出の注目度）: 1.8129328638036128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian inference allows us to define a posterior distribution over the weights of a generic neural network (NN). Exact posteriors are usually intractable, in which case approximations can be employed. One such approximation - variational inference - is computationally efficient when using mini-batch stochastic gradient descent as subsets of the data are used for likelihood and gradient evaluations, though the approach relies on the selection of a variational distribution which sufficiently matches the form of the posterior. Particle-based methods such as Markov chain Monte Carlo and Sequential Monte Carlo (SMC) do not assume a parametric family for the posterior by typically require higher computational cost. These sampling methods typically use the full-batch of data for likelihood and gradient evaluations, which contributes to this computational expense. We explore several methods of gradually introducing more mini-batches of data (data annealing) into likelihood and gradient evaluations of an SMC sampler. We find that we can achieve up to $6\times$ faster training with minimal loss in accuracy on benchmark image classification problems using NNs.
• Abstract（参考訳）: ベイズ推論により、汎用ニューラルネットワーク(NN)の重みに対する後続分布を定義することができる。 厳密な後部は、通常は難解であり、その場合近似を用いることができる。 このような近似の1つ、変分推論は、データの部分集合としてミニバッチ確率勾配勾配を用いた場合の計算効率が良いが、その手法は後部の形状に十分一致する変分分布の選択に依存する。 マルコフ連鎖モンテカルロ (Markov chain Monte Carlo) やシークエンシャルモンテカルロ (Sequential Monte Carlo, SMC) のような粒子ベースの手法は、通常より高い計算コストを必要とする後部のパラメトリック族を仮定しない。 これらのサンプリング手法は、典型的には、この計算コストに寄与する確率と勾配の評価のために、データのフルバッチを使用する。 そこで本研究では,SMCサンプリング器の精度と勾配評価に,より小さなデータバッチ(データアニール)を徐々に導入する手法について検討する。 NNを用いたベンチマーク画像分類問題において,精度の低下を最小限に抑えながら,最大6\times$の高速トレーニングを実現できることがわかった。

関連論文リスト

• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods [0.38233569758620045]
  ニューラルネットワークに基づく条件密度推定器を用いて適応的に提案されたシミュレーションから後部を学習することを目的とする。 Greenbergらによって提案された自動後部変換(APT)法は,高レベルのランタイムデータに対して良好に動作し,スケールする。 本稿では,APTをネスト推定問題として再検討する。 損失関数とその勾配に対するマルチモンテカルロ (MLMC) 推定器を構築し, 異なるシナリオに対応する。
  論文  参考訳（メタデータ） (2024-01-30T06:29:41Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods [13.649384403827359]
  正規化フローは複雑なターゲット分布を生成でき、ベイズ統計学における多くの応用において有望であることを示す。 対象の後方分布からのデータセットは事前に入手できないため、フローは通常、基底分布からのサンプルのみを必要とする逆のKullback-Leibler(KL)分散を用いて訓練される。 ここでは, 直接KL偏差を損失として用い, (i) 後部の局所MCMCアルゴリズムを正規化流で支援し, (ii) 混合速度を高速化し, (ii) この方法で生成されたデータを用いて流のトレーニングを行う。
  論文  参考訳（メタデータ） (2021-07-16T16:40:36Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。