論文の概要: Reverse Markov Learning: Multi-Step Generative Models for Complex Distributions

• arxiv url: http://arxiv.org/abs/2502.13747v1
• Date: Wed, 19 Feb 2025 14:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:50.575988
• Title: Reverse Markov Learning: Multi-Step Generative Models for Complex Distributions
• Title（参考訳）: 逆マルコフ学習:複合分布のための多段階生成モデル
• Authors: Xinwei Shen, Nicolai Meinshausen, Tong Zhang,
• Abstract要約: 複雑な分布を学習する能力を向上させるために、エングレスを拡張します。 本稿では,対象の分布から既知の分布へ遷移する一般的なフォワードプロセスを定義するフレームワークを提案する。 この逆工程は、目標分布を段階的に再構成する。
• 参考スコア（独自算出の注目度）: 10.165179181394755
• License:
• Abstract: Learning complex distributions is a fundamental challenge in contemporary applications. Generative models, such as diffusion models, have demonstrated remarkable success in overcoming many limitations of traditional statistical methods. Shen and Meinshausen (2024) introduced engression, a generative approach based on scoring rules that maps noise (and covariates, if available) directly to data. While effective, engression struggles with highly complex distributions, such as those encountered in image data. In this work, we extend engression to improve its capability in learning complex distributions. We propose a framework that defines a general forward process transitioning from the target distribution to a known distribution (e.g., Gaussian) and then learns a reverse Markov process using multiple engression models. This reverse process reconstructs the target distribution step by step. Our approach supports general forward processes, allows for dimension reduction, and naturally discretizes the generative process. As a special case, when using a diffusion-based forward process, our framework offers a method to discretize the training and inference of diffusion models efficiently. Empirical evaluations on simulated and climate data validate our theoretical insights, demonstrating the effectiveness of our approach in capturing complex distributions.
• Abstract（参考訳）: 複雑な分布の学習は、現代の応用における根本的な課題である。 拡散モデルのような生成モデルは、伝統的な統計手法の多くの制限を克服することに成功した。 Shen and Meinshausen (2024)は、データに直接ノイズ(および共変量)をマッピングするスコアリングルールに基づく生成的アプローチであるエングレースを導入した。 効果はあるものの、エングレッションは画像データに見られるような非常に複雑な分布に苦しむ。 本研究では,複雑な分布を学習する能力を向上させるために,エングレッションを拡張した。 本稿では,対象分布から既知の分布(例えばガウス)へ遷移する一般的な前方過程を定義し,複数のエングレスモデルを用いて逆マルコフ過程を学習するフレームワークを提案する。 この逆工程は、目標分布を段階的に再構成する。 提案手法は一般的なフォワードプロセスをサポートし,次元の縮小を可能にし,生成過程を自然に識別する。 特に,拡散モデルを用いたフォワードプロセスでは,拡散モデルのトレーニングと推論を効率的に識別する手法が提案されている。 シミュレーションおよび気候データに関する実証的な評価は、我々の理論的な洞察を検証し、複雑な分布を捉える上での我々のアプローチの有効性を実証する。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Reward-Directed Score-Based Diffusion Models via q-Learning [8.725446812770791]
  生成AIのための連続時間スコアベース拡散モデルのトレーニングのための新しい強化学習(RL)法を提案する。 我々の定式化は、ノイズ摂動データ分布の未知のスコア関数に対する事前学習モデルを含まない。
  論文  参考訳（メタデータ） (2024-09-07T13:55:45Z)
• Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
  暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。 マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。 本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
  論文  参考訳（メタデータ） (2024-02-26T09:32:28Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。