論文の概要: Discrete Langevin Sampler via Wasserstein Gradient Flow
- arxiv url: http://arxiv.org/abs/2206.14897v1
- Date: Wed, 29 Jun 2022 20:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 14:41:57.072438
- Title: Discrete Langevin Sampler via Wasserstein Gradient Flow
- Title(参考訳): ワッサーシュタイン勾配流による離散ランゲヴィンサンプリング器
- Authors: Haoran Sun, Hanjun Dai, Bo Dai, Haomin Zhou, Dale Schuurmans
- Abstract要約: 離散空間におけるワッサーシュタイン勾配流に対応する LB 関数がどのように LB 力学をもたらすかを示す。
シミュレーション時間に関してLBダイナミクスを識別し,新しいアルゴリズムであるLocally Balanced Jump (LBJ)を提案する。
- 参考スコア(独自算出の注目度): 102.94731267405056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, a family of locally balanced (LB) samplers has demonstrated
excellent performance at sampling and learning energy-based models (EBMs) in
discrete spaces. However, the theoretical understanding of this success is
limited. In this work, we show how LB functions give rise to LB dynamics
corresponding to Wasserstein gradient flow in a discrete space. From first
principles, previous LB samplers can then be seen as discretizations of the LB
dynamics with respect to Hamming distance. Based on this observation, we
propose a new algorithm, the Locally Balanced Jump (LBJ), by discretizing the
LB dynamics with respect to simulation time. As a result, LBJ has a
location-dependent "velocity" that allows it to make proposals with larger
distances. Additionally, LBJ decouples each dimension into independent
sub-processes, enabling convenient parallel implementation. We demonstrate the
advantages of LBJ for sampling and learning in various binary and categorical
distributions.
- Abstract(参考訳): 近年, 局所平衡型(LB)サンプリング器群は, 離散空間におけるエネルギーベースモデル(EBM)のサンプリングおよび学習において優れた性能を示した。
しかし、この成功の理論的理解は限られている。
本研究では、離散空間におけるワッサーシュタイン勾配流に対応するLB関数がどのようにしてLBダイナミクスをもたらすかを示す。
最初の原理から、以前のLBサンプリングはハミング距離に関してLB力学の離散化と見なすことができる。
この観察に基づいて,シミュレーション時間に関してlbダイナミクスを離散化することにより,局所バランスジャンプ(lbj)という新しいアルゴリズムを提案する。
その結果、LBJは位置に依存した「速度」を持ち、より広い距離で提案を行うことができる。
さらに、LBJは各次元を独立したサブプロセスに分離し、便利な並列実装を可能にする。
種々の二分分布および分類分布のサンプリングと学習におけるLBJの利点を示す。
関連論文リスト
- An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling [27.882407333690267]
本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
論文 参考訳(メタデータ) (2024-03-10T11:50:34Z) - Discrete Probabilistic Inference as Control in Multi-path Environments [90.83845885651986]
本稿では,離散分布と構造化分布からサンプリングする問題を逐次決定問題として考察する。
我々は,GFlowNetが,フローの保存を強制することによって,報酬に比例してオブジェクトをサンプリングするポリシーを学習していることを示す。
また、GFlowNetの文献で見られるフローマッチングの目的が、精度の高いMaxEnt RLアルゴリズムと等価であることも証明した。
論文 参考訳(メタデータ) (2024-02-15T20:20:35Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - The Adjoint Is All You Need: Characterizing Barren Plateaus in Quantum
Ans\"atze [3.2773906224402802]
可観測がリー環(DLA)に存在するパラメタライズド量子回路に対するバレンプラトーの理論を定式化する。
我々の理論は初めて、量子化合物アンザッツの勾配コスト関数の分散の分散を計算する能力を提供する。
論文 参考訳(メタデータ) (2023-09-14T17:50:04Z) - Generative Modelling of L\'{e}vy Area for High Order SDE Simulation [5.9535699822923]
L'evyGANはブラウン増分に基づくL'evy領域の近似サンプルを生成するディープラーニングモデルである。
L'evyGANは関節分布と辺縁分布の両方を測定するいくつかの指標で最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-08-04T16:38:37Z) - Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文 参考訳(メタデータ) (2023-07-19T10:27:34Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳(メタデータ) (2022-09-16T22:09:53Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳(メタデータ) (2021-05-17T17:22:07Z) - The Boomerang Sampler [4.588028371034406]
本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。
提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
論文 参考訳(メタデータ) (2020-06-24T14:52:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。