論文の概要: Semi-Implicit Functional Gradient Flow for Efficient Sampling
- arxiv url: http://arxiv.org/abs/2410.17935v2
- Date: Fri, 21 Mar 2025 12:56:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:54:29.559519
- Title: Semi-Implicit Functional Gradient Flow for Efficient Sampling
- Title（参考訳）: 効率的なサンプリングのための半指数関数型勾配流
- Authors: Shiyue Zhang, Ziheng Cheng, Cheng Zhang,
- Abstract要約: 本稿では,ガウス雑音を近似系とする摂動粒子を用いた関数勾配ParVI法を提案する。
ニューラルネットワークと一致するスコアをデノナイズすることで推定できる機能的勾配流は,強い理論的収束保証を示す。
さらに,サンプリング中の適切な雑音の大きさを自動的に選択する適応バージョンを提案する。
- 参考スコア（独自算出の注目度）: 30.32233517392456
- License:
- Abstract: Particle-based variational inference methods (ParVIs) use nonparametric variational families represented by particles to approximate the target distribution according to the kernelized Wasserstein gradient flow for the Kullback-Leibler (KL) divergence. Although functional gradient flows have been introduced to expand the kernel space for better flexibility, the deterministic updating mechanism may limit exploration and require expensive repetitive runs for new samples. In this paper, we propose Semi-Implicit Functional Gradient flow (SIFG), a functional gradient ParVI method that uses perturbed particles with Gaussian noise as the approximation family. We show that the corresponding functional gradient flow, which can be estimated via denoising score matching with neural networks, exhibits strong theoretical convergence guarantees due to a higher-order smoothness brought to the approximation family via Gaussian perturbation. In addition, we present an adaptive version of our method that automatically selects the appropriate noise magnitude during sampling, striking a good balance between exploration efficiency and approximation accuracy. Extensive experiments on both simulated and real-world datasets demonstrate the effectiveness and efficiency of the proposed framework.
- Abstract（参考訳）: 粒子に基づく変分推論法 (ParVIs) は、KL分散に対する核化ワッサーシュタイン勾配流に従って、粒子に代表される非パラメトリックな変分族を用いて目標分布を近似する。
機能的勾配流はカーネル空間をより柔軟に拡張するために導入されたが、決定論的更新機構は探索を制限し、新しいサンプルに対して高価な繰り返し実行を必要とする可能性がある。
本稿では,ガウス雑音を含む摂動粒子を近似系として用いた関数勾配ParVI法であるセミインプシット関数勾配流(SIFG)を提案する。
本稿では,ニューラルネットワークと一致する点数から推定できる関数勾配流が,ガウス摂動による近似系に高次スムーズ性をもたらすため,理論収束性を保証することを示す。
また,本手法の適応バージョンでは,サンプリング中の適切な雑音の大きさを自動的に選択し,探索効率と近似精度のバランスを良くする。
シミュレーションと実世界の両方のデータセットに関する大規模な実験は、提案したフレームワークの有効性と効率を実証している。
関連論文リスト
- Functional Gradient Flows for Constrained Sampling [29.631753643887237]
本稿では,制約付き関数勾配流(CFG)と呼ばれる,制約付きサンプリングのための新しい関数勾配ParVI法を提案する。
また、領域制約から生じる境界積分項を扱うための新しい数値戦略を提案する。
論文 参考訳（メタデータ） (2024-10-30T16:20:48Z) - Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。
提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。
実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
論文 参考訳（メタデータ） (2024-10-10T02:46:28Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Particle-based Variational Inference with Generalized Wasserstein
Gradient Flow [32.37056212527921]
本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。
GWGが強い収束保証を示すことを示す。
また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
論文 参考訳（メタデータ） (2023-10-25T10:05:42Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Particle-based Variational Inference with Preconditioned Functional
Gradient Flow [13.519223374081648]
プレコンディション付き関数勾配流(PFG)と呼ばれる新しい粒子ベース変分推論アルゴリズムを提案する。
PFGはStein variational gradient descent (SVGD)に対していくつかの利点がある
ニューラルネットワークのような非線形関数クラスは勾配流を推定するために組み込むことができる。
論文 参考訳（メタデータ） (2022-11-25T08:31:57Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-10-24T16:54:18Z) - A blob method method for inhomogeneous diffusion with applications to
multi-agent control and sampling [0.6562256987706128]
重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。
提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
論文 参考訳（メタデータ） (2022-02-25T19:49:05Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。