論文の概要: Thinned Mean Field Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2605.28589v1
- Date: Wed, 27 May 2026 15:10:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.145794
- Title: Thinned Mean Field Langevin Dynamics
- Title（参考訳）: 薄型平均場ランゲヴィンダイナミクス
- Authors: Zonghao Chen, Heishiro Kanagawa, François-Xavier Briol, Chris J. Oates, Lester Mackey,
- Abstract要約: MFLD(Mean-field Langevin dynamics)はこの一般的な文脈での計算を容易にする。
我々は,各粒子が$mathcalO(Nfrac12)$の薄い粒子コアセットのみと相互作用するtextttKT-MFLDを提案する。
- 参考スコア（独自算出の注目度）: 25.786764617149235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several important learning tasks can be formulated as minimizing an entropy-regularized objective over an appropriate space of probability distributions. Mean-field Langevin dynamics (MFLD) facilitate computation in this general context, casting the minimizer as the invariant distribution of a McKean--Vlasov process, which can be numerically discretized using $N$ particles and thus simulated. However, simulating this interacting particle system has computational complexity of order $N^2$. Motivated by recent research into \emph{kernel thinning}, we propose \texttt{KT-MFLD}, in which each particle interacts only with a thinned particle coreset of size $\mathcal{O}(N^{\frac{1}{2}})$. \texttt{KT-MFLD} thus reduces the computational complexity to order $N^{\frac{3}{2}}$ while, under mild regularity conditions, achieving the same convergence guarantees (up to logarithmic factors) as MFLD. Our theoretical analysis is empirically confirmed on tasks including the training of student-teacher neural networks, quantization with maximum mean discrepancy, and computation of predictively-oriented posteriors in a post-Bayesian framework.
- Abstract（参考訳）: いくつかの重要な学習タスクは、確率分布の適切な空間上のエントロピー規則化された目的を最小化するものとして定式化することができる。
MFLD(Mean-field Langevin dynamics)は、この一般的な文脈での計算を促進し、最小化器をマッキン=ブラソフ過程の不変分布としてキャストし、$N$粒子を用いて数値的に離散化し、シミュレートすることができる。
しかし、相互作用する粒子系をシミュレートする計算複雑性は$N^2$である。
最近の研究により、各粒子はサイズ$\mathcal{O}(N^{\frac{1}{2}})$の薄い粒子コアセットのみと相互作用する「texttt{KT-MFLD}」を提案する。
これにより、計算複雑性を$N^{\frac{3}{2}}$に減らし、穏やかな規則性条件下では、MFLDと同じ収束保証(対数因子まで)を達成する。
我々の理論的分析は、学生-教師ニューラルネットワークのトレーニング、最大平均差の量子化、ベイズ後のフレームワークにおける予測指向の後方の計算などのタスクで実証的に確認されている。
関連論文リスト
- Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳（メタデータ） (2025-12-01T05:14:25Z) - FFT-Accelerated Auxiliary Variable MCMC for Fermionic Lattice Models: A Determinant-Free Approach with $O(N\log N)$ Complexity [52.3171766248012]
量子多体系のシミュレーションを劇的に高速化するマルコフ連鎖モンテカルロ(MCMC)アルゴリズムを導入する。
我々は,量子物理学のベンチマーク問題に対するアルゴリズムの有効性を検証し,既知の理論結果を正確に再現する。
我々の研究は、大規模確率的推論のための強力なツールを提供し、物理学に着想を得た生成モデルのための道を開く。
論文 参考訳（メタデータ） (2025-10-13T07:57:21Z) - Quantum-inspired probability metrics define a complete, universal space for statistical learning [0.0]
量子状態空間に確率測度を埋め込んだ量子確率測度(QPM)を導入する。
QPMは最大平均離散(MMD)のドロップイン置換として性能を著しく向上させる
このアプローチは、確率測度を分析し、操作するための強力なツールの基礎を築いた。
論文 参考訳（メタデータ） (2025-08-26T22:41:48Z) - Learning Multi-Index Models with Neural Networks via Mean-Field Langevin Dynamics [21.55547541297847]
平均場ランゲヴィンアルゴリズムを用いて学習した2層ニューラルネットワークを用いて,高次元のマルチインデックスモデルを学習する問題について検討する。
軽度の分布仮定の下では、サンプルと計算の複雑さの両方を制御する実効次元 $d_mathrmeff$ を特徴づける。
論文 参考訳（メタデータ） (2024-08-14T02:13:35Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。