論文の概要: Sampling with Mollified Interaction Energy Descent
- arxiv url: http://arxiv.org/abs/2210.13400v1
- Date: Mon, 24 Oct 2022 16:54:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 14:50:00.288548
- Title: Sampling with Mollified Interaction Energy Descent
- Title（参考訳）: モーラ化相互作用エネルギー降下によるサンプリング
- Authors: Lingxiao Li, Qiang Liu, Anna Korba, Mikhail Yurochkin, Justin Solomon
- Abstract要約: モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
- 参考スコア（独自算出の注目度）: 57.00583139477843
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Sampling from a target measure whose density is only known up to a
normalization constant is a fundamental problem in computational statistics and
machine learning. In this paper, we present a new optimization-based method for
sampling called mollified interaction energy descent (MIED). MIED minimizes a
new class of energies on probability measures called mollified interaction
energies (MIEs). These energies rely on mollifier functions -- smooth
approximations of the Dirac delta originated from PDE theory. We show that as
the mollifier approaches the Dirac delta, the MIE converges to the chi-square
divergence with respect to the target measure and the gradient flow of the MIE
agrees with that of the chi-square divergence. Optimizing this energy with
proper discretization yields a practical first-order particle-based algorithm
for sampling in both unconstrained and constrained domains. We show
experimentally that for unconstrained sampling problems our algorithm performs
on par with existing particle-based algorithms like SVGD, while for constrained
sampling problems our method readily incorporates constrained optimization
techniques to handle more flexible constraints with strong performance compared
to alternatives.
- Abstract（参考訳）: 正規化定数まで密度しか知られていない目標尺度からのサンプリングは、計算統計学と機械学習における根本的な問題である。
本稿では,新しいサンプリング最適化手法であるmollified interaction energy descent (mied)を提案する。
miedは、mollified interaction energies(mies)と呼ばれる確率測度の新たなエネルギークラスを最小化する。
これらのエネルギーは、pde理論に由来するディラックデルタの滑らかな近似であるmollifier関数に依存する。
モリファイアがディラックデルタに近づくと、MIEは目標測度に対してチ二乗発散に収束し、MIEの勾配流はチ二乗発散に一致することを示す。
このエネルギーを適切な離散化で最適化すると、非拘束領域と制約領域の両方でサンプリングする実用的な一階の粒子ベースアルゴリズムが得られる。
実験により,本アルゴリズムはSVGDのような既存の粒子ベースアルゴリズムに匹敵する非拘束サンプリング問題に対して,制約サンプリング問題に対して,厳密な最適化手法を組み込んで,より柔軟な制約処理を行う。
関連論文リスト
- Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。
提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
論文 参考訳（メタデータ） (2024-10-18T17:13:29Z) - Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。
提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。
実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
論文 参考訳（メタデータ） (2024-10-10T02:46:28Z) - Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Momentum Particle Maximum Likelihood [2.4561590439700076]
自由エネルギー関数を最小化するための類似の力学系に基づくアプローチを提案する。
システムを離散化することにより、潜在変数モデルにおける最大推定のための実用的なアルゴリズムを得る。
このアルゴリズムは既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。
論文 参考訳（メタデータ） (2023-12-12T14:53:18Z) - Tuning-Free Maximum Likelihood Training of Latent Variable Models via
Coin Betting [1.8416014644193066]
限界最大推定による潜在変数モデル学習のための2つの新しい粒子ベースアルゴリズムを提案する。
1つのアルゴリズムは完全にチューニング不要です。
我々は,高次元設定を含むいくつかの数値実験において,アルゴリズムの有効性を検証した。
論文 参考訳（メタデータ） (2023-05-24T09:03:55Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳（メタデータ） (2023-03-01T10:38:10Z) - A blob method method for inhomogeneous diffusion with applications to
multi-agent control and sampling [0.6562256987706128]
重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。
提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
論文 参考訳（メタデータ） (2022-02-25T19:49:05Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z) - Consensus-Based Optimization on the Sphere: Convergence to Global
Minimizers and Machine Learning [7.998311072988401]
球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。
本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
論文 参考訳（メタデータ） (2020-01-31T18:23:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。