論文の概要: Sampling with Mollified Interaction Energy Descent
- arxiv url: http://arxiv.org/abs/2210.13400v1
- Date: Mon, 24 Oct 2022 16:54:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 14:50:00.288548
- Title: Sampling with Mollified Interaction Energy Descent
- Title(参考訳): モーラ化相互作用エネルギー降下によるサンプリング
- Authors: Lingxiao Li, Qiang Liu, Anna Korba, Mikhail Yurochkin, Justin Solomon
- Abstract要約: モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
- 参考スコア(独自算出の注目度): 57.00583139477843
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Sampling from a target measure whose density is only known up to a
normalization constant is a fundamental problem in computational statistics and
machine learning. In this paper, we present a new optimization-based method for
sampling called mollified interaction energy descent (MIED). MIED minimizes a
new class of energies on probability measures called mollified interaction
energies (MIEs). These energies rely on mollifier functions -- smooth
approximations of the Dirac delta originated from PDE theory. We show that as
the mollifier approaches the Dirac delta, the MIE converges to the chi-square
divergence with respect to the target measure and the gradient flow of the MIE
agrees with that of the chi-square divergence. Optimizing this energy with
proper discretization yields a practical first-order particle-based algorithm
for sampling in both unconstrained and constrained domains. We show
experimentally that for unconstrained sampling problems our algorithm performs
on par with existing particle-based algorithms like SVGD, while for constrained
sampling problems our method readily incorporates constrained optimization
techniques to handle more flexible constraints with strong performance compared
to alternatives.
- Abstract(参考訳): 正規化定数まで密度しか知られていない目標尺度からのサンプリングは、計算統計学と機械学習における根本的な問題である。
本稿では,新しいサンプリング最適化手法であるmollified interaction energy descent (mied)を提案する。
miedは、mollified interaction energies(mies)と呼ばれる確率測度の新たなエネルギークラスを最小化する。
これらのエネルギーは、pde理論に由来するディラックデルタの滑らかな近似であるmollifier関数に依存する。
モリファイアがディラックデルタに近づくと、MIEは目標測度に対してチ二乗発散に収束し、MIEの勾配流はチ二乗発散に一致することを示す。
このエネルギーを適切な離散化で最適化すると、非拘束領域と制約領域の両方でサンプリングする実用的な一階の粒子ベースアルゴリズムが得られる。
実験により,本アルゴリズムはSVGDのような既存の粒子ベースアルゴリズムに匹敵する非拘束サンプリング問題に対して,制約サンプリング問題に対して,厳密な最適化手法を組み込んで,より柔軟な制約処理を行う。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Momentum Particle Maximum Likelihood [2.6831773062745863]
パラメータと確率分布の拡張空間上の自由エネルギー関数を最小化するための類似システムに基づくアプローチを提案する。
適切な仮定の下では、提案された系を連続時間における一意的な一意の最小化器に定量的に収束させる。
そこで本研究では,潜在変数モデルにおけるパラメータ推定に適用可能な数値的な離散化を提案する。
論文 参考訳(メタデータ) (2023-12-12T14:53:18Z) - Tuning-Free Maximum Likelihood Training of Latent Variable Models via
Coin Betting [1.8416014644193066]
限界最大推定による潜在変数モデル学習のための2つの新しい粒子ベースアルゴリズムを提案する。
1つのアルゴリズムは完全にチューニング不要です。
我々は,高次元設定を含むいくつかの数値実験において,アルゴリズムの有効性を検証した。
論文 参考訳(メタデータ) (2023-05-24T09:03:55Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳(メタデータ) (2023-03-01T10:38:10Z) - Aspects of scaling and scalability for flow-based sampling of lattice
QCD [137.23107300589385]
格子場理論におけるサンプリングへの機械学習正規化流れの最近の応用は、そのような手法が臨界減速と位相凍結を緩和できる可能性を示唆している。
最先端の格子量子色力学計算に適用できるかどうかはまだ定かではない。
論文 参考訳(メタデータ) (2022-11-14T17:07:37Z) - A blob method method for inhomogeneous diffusion with applications to
multi-agent control and sampling [0.6562256987706128]
重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。
提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
論文 参考訳(メタデータ) (2022-02-25T19:49:05Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z) - Optimal Sampling Density for Nonparametric Regression [5.3219212985943924]
本稿では,モデルに依存しない,モデルミスマッチに対する頑健な回帰学習戦略を提案する。
我々は、平均積分誤差(MISE)を一般化基準として採用し、MISEの挙動と局所的に最適な帯域幅を用いる。
提案手法のほとんどモデルフリーな性質は、対象問題の生特性を符号化し、堅牢でモデルに依存しない能動的学習戦略を提供する。
論文 参考訳(メタデータ) (2021-05-25T14:52:17Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳(メタデータ) (2020-02-12T11:10:00Z) - Consensus-Based Optimization on the Sphere: Convergence to Global
Minimizers and Machine Learning [7.998311072988401]
球面上の非函数の大域的最適化のための新しい倉本ビエク型モデルの実装について検討する。
本稿では,本論文で提案したアルゴリズムが寸法によく適合し,極めて多目的であることを示す数値実験を行った。
論文 参考訳(メタデータ) (2020-01-31T18:23:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。