論文の概要: Semi-Implicit Functional Gradient Flow

• arxiv url: http://arxiv.org/abs/2410.17935v1
• Date: Wed, 23 Oct 2024 15:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:07.527590
• Title: Semi-Implicit Functional Gradient Flow
• Title（参考訳）: 半指数関数型勾配流
• Authors: Shiyue Zhang, Ziheng Cheng, Cheng Zhang,
• Abstract要約: 近似系として摂動粒子を用いる関数勾配ParVI法を提案する。 対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
• 参考スコア（独自算出の注目度）: 30.32233517392456
• License:
• Abstract: Particle-based variational inference methods (ParVIs) use non-parametric variational families represented by particles to approximate the target distribution according to the kernelized Wasserstein gradient flow for the Kullback-Leibler (KL) divergence. Recent works introduce functional gradient flows to substitute the kernel for better flexibility. However, the deterministic updating mechanism may suffer from limited exploration and require expensive repetitive runs for new samples. In this paper, we propose Semi-Implicit Functional Gradient flow (SIFG), a functional gradient ParVI method that uses perturbed particles as the approximation family. The corresponding functional gradient flow, which can be estimated via denoising score matching, exhibits strong theoretical convergence guarantee. We also present an adaptive version of our method to automatically choose the suitable noise magnitude. Extensive experiments demonstrate the effectiveness and efficiency of the proposed framework on both simulated and real data problems.
• Abstract（参考訳）: 粒子に基づく変分推論法 (ParVIs) は、KL分散に対する核化ワッサーシュタイン勾配流に従って、粒子に代表される非パラメトリックな変分族を用いて目標分布を近似する。 最近の研究は、カーネルの柔軟性を高めるために機能的な勾配流を導入している。 しかし、決定論的更新メカニズムは、限られた探索に悩まされ、新しいサンプルに対して高価な繰り返し実行を必要とする可能性がある。 本稿では,摂動粒子を近似系として用いた関数勾配ParVI法であるセミインプシイト関数勾配流(SIFG)を提案する。 対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。 また,適切な雑音の大きさを自動選択するための適応バージョンも提案する。 シミュレーションおよび実データ問題において,提案手法の有効性と有効性を示す実験を行った。

関連論文リスト

• Functional Gradient Flows for Constrained Sampling [29.631753643887237]
  本稿では,制約付き関数勾配流(CFG)と呼ばれる,制約付きサンプリングのための新しい関数勾配ParVI法を提案する。 また、領域制約から生じる境界積分項を扱うための新しい数値戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T16:20:48Z)
• Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
  本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。 提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。 実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-10-10T02:46:28Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Particle-based Variational Inference with Generalized Wasserstein Gradient Flow [32.37056212527921]
  本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。 GWGが強い収束保証を示すことを示す。 また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
  論文  参考訳（メタデータ） (2023-10-25T10:05:42Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Particle-based Variational Inference with Preconditioned Functional Gradient Flow [13.519223374081648]
  プレコンディション付き関数勾配流(PFG)と呼ばれる新しい粒子ベース変分推論アルゴリズムを提案する。 PFGはStein variational gradient descent (SVGD)に対していくつかの利点がある ニューラルネットワークのような非線形関数クラスは勾配流を推定するために組み込むことができる。
  論文  参考訳（メタデータ） (2022-11-25T08:31:57Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• A blob method method for inhomogeneous diffusion with applications to multi-agent control and sampling [0.6562256987706128]
  重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。 提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
  論文  参考訳（メタデータ） (2022-02-25T19:49:05Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。