論文の概要: On Sampling with Approximate Transport Maps

• arxiv url: http://arxiv.org/abs/2302.04763v3
• Date: Sun, 18 Feb 2024 17:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 07:22:18.231874
• Title: On Sampling with Approximate Transport Maps
• Title（参考訳）: 近似輸送地図を用いたサンプリングについて
• Authors: Louis Grenioux, Alain Durmus, \'Eric Moulines, Marylou Gabri\'e
• Abstract要約: 輸送地図は、非自明な測地による分布のサンプリングを容易にし、それらを扱いやすい分布に変換する。 このアプローチのポテンシャルは、ターゲットに向かって参照分布をプッシュするようにトレーニングされたディープニューラルネットワークでパラメータ化されたマップである正規化フロー(NF)の開発によって高まっている。 NF型サンプリング器は先日,フローから引き出された (i) モンテカルロ法または (ii) フローベース再パラメータ化法をブレンドした(マルコフ連鎖)モンテカルロ法を提案した。
• 参考スコア（独自算出の注目度）: 22.03230737620495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transport maps can ease the sampling of distributions with non-trivial geometries by transforming them into distributions that are easier to handle. The potential of this approach has risen with the development of Normalizing Flows (NF) which are maps parameterized with deep neural networks trained to push a reference distribution towards a target. NF-enhanced samplers recently proposed blend (Markov chain) Monte Carlo methods with either (i) proposal draws from the flow or (ii) a flow-based reparametrization. In both cases, the quality of the learned transport conditions performance. The present work clarifies for the first time the relative strengths and weaknesses of these two approaches. Our study concludes that multimodal targets can be reliably handled with flow-based proposals up to moderately high dimensions. In contrast, methods relying on reparametrization struggle with multimodality but are more robust otherwise in high-dimensional settings and under poor training. To further illustrate the influence of target-proposal adequacy, we also derive a new quantitative bound for the mixing time of the Independent Metropolis-Hastings sampler.
• Abstract（参考訳）: トランスポートマップは、扱いやすい分布に変換することで、非自明なジオメトリを持つ分布のサンプリングを容易にすることができる。 このアプローチのポテンシャルは、ターゲットに向かって参照分布をプッシュするようにトレーニングされたディープニューラルネットワークでパラメータ化されたマップである正規化フロー(NF)の開発によって高まっている。 NF強化サンプリング器が最近提案したブレンド(マルコフ連鎖)モンテカルロ法 (i)その流れから引き出すもの,又は (ii)フローベースの再パラメータ化。 いずれの場合も、学習した輸送条件の品質が向上する。 本研究は,これら2つのアプローチの相対的強みと弱みを初めて明らかにした。 本研究は,マルチモーダルターゲットを適度な高次元までフローベースの提案で確実に処理できることを結論づける。 対照的に、再パラメトリゼーションに依存する手法はマルチモダリティに苦しむが、高次元の設定や訓練不足においてはより堅牢である。 さらに, 目的-目的の妥当性の影響を明らかにするために, 独立系メトロポリス・ハスティングスサンプリング装置の混合時間に対する新しい定量的境界を導出する。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Improving Transferability of Adversarial Examples via Bayesian Attacks [84.90830931076901]
  モデル入力にベイズ定式化を組み込むことにより,モデル入力とモデルパラメータの共分散を可能にする新しい拡張を導入する。 提案手法は,トランスファーベース攻撃に対する新たな最先端技術を実現し,ImageNetとCIFAR-10の平均成功率をそれぞれ19.14%,2.08%向上させる。
  論文  参考訳（メタデータ） (2023-07-21T03:43:07Z)
• Efficient Multimodal Sampling via Tempered Distribution Flow [11.36635610546803]
  我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。 種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。 画像生成などの最新のディープラーニングタスクに応用例を示す。
  論文  参考訳（メタデータ） (2023-04-08T06:40:06Z)
• Transport Reversible Jump Proposals [0.8399688944263843]
  本稿では,参照分布を含む3次元ジャンプを行うことにより,RJMCMCサンプリングの効率を向上させる手法を示す。 正確な輸送が使用される環境では、我々のRJMCMC提案は、受理確率がモデル確率のみに依存するという望ましい性質を持っていることが示されている。
  論文  参考訳（メタデータ） (2022-10-22T23:48:04Z)
• Learning Optimal Transport Between two Empirical Distributions with Normalizing Flows [12.91637880428221]
  本稿では、ニューラルネットワークの柔軟性を活用して、最適輸送マップを近似的に学習することを提案する。 我々は、このOT問題の解を近似するために、非可逆ニューラルネットワークの特定の例、すなわち正規化フローが利用できることを示した。
  論文  参考訳（メタデータ） (2022-07-04T08:08:47Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Robust model training and generalisation with Studentising flows [22.757298187704745]
  本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。 本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。 いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2020-06-11T16:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。