論文の概要: Efficient Multimodal Sampling via Tempered Distribution Flow

• arxiv url: http://arxiv.org/abs/2304.03933v1
• Date: Sat, 8 Apr 2023 06:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 18:52:38.492474
• Title: Efficient Multimodal Sampling via Tempered Distribution Flow
• Title（参考訳）: 温度分布流による効率的なマルチモーダルサンプリング
• Authors: Yixuan Qiu, Xiao Wang
• Abstract要約: 我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。 種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。 画像生成などの最新のディープラーニングタスクに応用例を示す。
• 参考スコア（独自算出の注目度）: 11.36635610546803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from high-dimensional distributions is a fundamental problem in statistical research and practice. However, great challenges emerge when the target density function is unnormalized and contains isolated modes. We tackle this difficulty by fitting an invertible transformation mapping, called a transport map, between a reference probability measure and the target distribution, so that sampling from the target distribution can be achieved by pushing forward a reference sample through the transport map. We theoretically analyze the limitations of existing transport-based sampling methods using the Wasserstein gradient flow theory, and propose a new method called TemperFlow that addresses the multimodality issue. TemperFlow adaptively learns a sequence of tempered distributions to progressively approach the target distribution, and we prove that it overcomes the limitations of existing methods. Various experiments demonstrate the superior performance of this novel sampler compared to traditional methods, and we show its applications in modern deep learning tasks such as image generation. The programming code for the numerical experiments is available at https://github.com/yixuan/temperflow.
• Abstract（参考訳）: 高次元分布からのサンプリングは統計学研究と実践の基本的な問題である。 しかし、ターゲット密度関数が非正規化され、孤立モードを含む場合、大きな課題が生じる。 対象分布と基準確率測度の間にトランスポートマップと呼ばれる可逆変換写像をフィッティングすることにより,対象分布からのサンプリングはトランスポートマップを介して参照サンプルを前進させることで達成できる。 本稿では,ワッサーシュタイン勾配流理論を用いて既存の輸送型サンプリング手法の限界を理論的に解析し,マルチモーダリティ問題に対処するTemperFlowと呼ばれる新しい手法を提案する。 temperflowはテンパー分布の列を適応的に学習し、目標分布に漸進的に接近し、既存の方法の限界を克服できることを証明する。 本手法は従来の手法に比べて優れた性能を示す様々な実験を行い,画像生成などの現代的深層学習への応用を示す。 数値実験のプログラミングコードはhttps://github.com/yixuan/temperflow.com/で入手できる。

関連論文リスト

• Stochastic Sampling from Deterministic Flow Models [8.849981177332594]
  そこで本論文では,フローモデルを同じ境界分布を持つ微分方程式の族(SDE)に変換する手法を提案する。 我々は,おもちゃのガウスセットアップと大規模イメージネット生成タスクにおいて,提案手法の利点を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T05:18:28Z)
• Annealing Flow Generative Model Towards Sampling High-Dimensional and Multi-Modal Distributions [6.992239210938067]
  Annealing Flowは、高次元およびマルチモーダル分布からサンプリングするために設計された、連続正規化フローベースのアプローチである。 AFは有効かつバランスの取れたモード探索を保証し、サンプルサイズと寸法の線形複雑さを達成し、非効率な混合時間を回避している。
  論文  参考訳（メタデータ） (2024-09-30T17:48:22Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Detecting and Mitigating Mode-Collapse for Flow-based Sampling of Lattice Field Theories [6.222204646855336]
  格子場理論の文脈における正規化流れのモード崩壊の結果について検討する。 本稿では,モード崩壊の度合いを定量化し,その結果の偏りを導出する指標を提案する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:22Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。