論文の概要: Controlled Langevin Dynamics for Sampling of Feedforward Neural Networks Trained with Minibatches

• arxiv url: http://arxiv.org/abs/2603.15367v1
• Date: Mon, 16 Mar 2026 14:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.497954
• Title: Controlled Langevin Dynamics for Sampling of Feedforward Neural Networks Trained with Minibatches
• Title（参考訳）: ミニバッチで学習したフィードフォワードニューラルネットワークのサンプリングのための制御されたランゲヴィンダイナミクス
• Authors: Alessandro Zambon, Francesca Caruso, Riccardo Zecchina, Guido Tiana,
• Abstract要約: 本稿では,大規模データセットで訓練されたフィードフォワードニューラルネットワークのボルツマンサンプリングを,ミニバッチを用いて制御的に行うことができる擬似ラジヴィン(pL)ダイナミクスを提案する。 性能ベンチマークでは、hMCはネットワークサイズが大きくなるにつれて急速に非効率になるが、pLスキームは高い計算拡散を維持し、100万以上のパラメータを持つネットワークに好適にスケールすることを示した。
• 参考スコア（独自算出の注目度）: 39.659397690260256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling the parameter space of artificial neural networks according to a Boltzmann distribution provides insight into the geometry of low-loss solutions and offers an alternative to conventional loss minimization for training. However, exact sampling methods such as hybrid Monte Carlo (hMC), while formally correct, become computationally prohibitive for realistic datasets because they require repeated evaluation of full-batch gradients. We introduce a pseudo-Langevin (pL) dynamics that enables efficient Boltzmann sampling of feed-forward neural networks trained with large datasets by using minibatches in a controlled manner. The method exploits the statistical properties of minibatch gradient noise and adjusts fictitious masses and friction coefficients to ensure that the induced stochastic process samples efficiently the desired equilibrium distribution. We validate numerically the approach by comparing its equilibrium statistics with those obtained from exact hMC sampling. Performance benchmarks demonstrate that, while hMC rapidly becomes inefficient as network size increases, the pL scheme maintains high computational diffusion and scales favorably to networks with over one million parameters. Finally, we show that sampling at intermediate temperatures yields optimal generalization performance, comparable to SGD, without requiring a validation set or early stopping procedure. These results establish controlled minibatch Langevin dynamics as a practical and scalable tool for exploring and exploiting the solution space of large neural networks.
• Abstract（参考訳）: ボルツマン分布に従って人工ニューラルネットワークのパラメータ空間をサンプリングすることは、低損失解の幾何学に関する洞察を与え、訓練のための従来の損失最小化に代わる手段を提供する。 しかし、ハイブリッドモンテカルロ(hMC)のような正確なサンプリング手法は、公式には正しいが、フルバッチ勾配の繰り返し評価を必要とするため、現実的なデータセットでは計算的に禁止される。 本稿では,大規模データセットで訓練されたフィードフォワードニューラルネットワークのボルツマンサンプリングを,ミニバッチを用いて制御的に行うことができる擬似ラウンジヴィン(pL)ダイナミクスを提案する。 この方法はミニバッチ勾配雑音の統計的特性を利用して、有限質量と摩擦係数を調整し、誘起確率過程が所望の平衡分布を効率的にサンプリングすることを保証する。 我々は、その平衡統計値と正確なhMCサンプリングから得られた統計値を比較することにより、そのアプローチを数値的に検証する。 性能ベンチマークにより、hMCはネットワークサイズが大きくなるにつれて急速に非効率になるが、pLスキームは高い計算拡散を維持し、100万以上のパラメータを持つネットワークに好適にスケールすることを示した。 最後に、中間温度でのサンプリングにより、検証セットや早期停止手順を必要とせず、SGDに匹敵する最適な一般化性能が得られることを示す。 これらの結果は、大規模ニューラルネットワークの解空間を探索し活用するための実用的でスケーラブルなツールとして、制御されたミニバッチランゲヴィンダイナミクスを確立する。

関連論文リスト

• Low-Dimensional Adaptation of Rectified Flow: A New Perspective through the Lens of Diffusion and Stochastic Localization [59.04314685837778]
  整流流(RF)は、その生成効率と最先端の性能からかなりの人気を得ている。 本稿では,RFがターゲット分布の支持の内在的低次元性に自動的に適応し,サンプリングを高速化する程度について検討する。 時間分割方式を慎重に設計し,十分な正確なドリフト推定を行うことで,RFサンプリング器はオーダーO(k/varepsilon)$の複雑さを享受できることを示す。
  論文  参考訳（メタデータ） (2026-01-21T22:09:27Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Progressive Tempering Sampler with Diffusion [50.06039228068602]
  本研究では, 拡散モデルを温度にわたって逐次訓練するニューラルサンプリング器を提案する。 また, 高温拡散モデルを組み合わせて低温試料を近似的に生成する手法を提案する。 本手法は,拡散型ニューラルサンプリングよりも高い精度で目標評価効率を向上する。
  論文  参考訳（メタデータ） (2025-06-05T16:46:04Z)
• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  連続フローベースのニューラルサンプリングは、非正規化された密度からサンプルを生成するための有望なアプローチを提供する。 速度駆動型Sequential Monte Carlo法を用いて,これらの課題量に対する改良された推定器を提案する。 提案するニューラルフローショートカットサンプリングは,合成データセットと複雑なnボディシステムターゲットの両方において,既存のフローベースニューラルサンプリングよりも経験的に優れている。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Sampling from Bayesian Neural Network Posteriors with Symmetric Minibatch Splitting Langevin Dynamics [0.8749675983608172]
  本稿では,ビッグデータおよびAIアプリケーションのパラメータ空間をサンプリングするためのスケーラブルな動的ランゲヴィン動的アルゴリズムを提案する。 その結果,Symmetric Minibatch Splitting-UBU (SMS-UBU) インテグレータのバイアスは$O(h2 d1/2)$ in dimension $d>0$ with stepsize $h>0$であることがわかった。 このアルゴリズムを用いて, 畳み込みニューラルネットワークアーキテクチャを用いたニューラルネットワークにおいて, ベイズニューラルネットワーク(BNN)の後部分布の局所的モードを探索し, 後部予測確率の校正性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T13:47:02Z)
• SGM-PINN: Sampling Graphical Models for Faster Training of Physics-Informed Neural Networks [4.262342157729123]
  SGM-PINNは物理情報ニューラルネットワーク(PINN)のトレーニング効率を向上させるグラフベースの重要度サンプリングフレームワークである 提案手法の利点を実証し,従来の最先端サンプリング手法と比較して3倍の収束性を実現した。
  論文  参考訳（メタデータ） (2024-07-10T04:31:50Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Parameter estimation for WMTI-Watson model of white matter using encoder-decoder recurrent neural network [0.0]
  本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。 提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
  論文  参考訳（メタデータ） (2022-03-01T16:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。