論文の概要: Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts

• arxiv url: http://arxiv.org/abs/2503.02819v1
• Date: Tue, 04 Mar 2025 17:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:13.642413
• Title: Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts
• Title（参考訳）: 拡散におけるFeynman-Kac補正 - 熱処理, 誘導, 専門家の製品化
• Authors: Marta Skreta, Tara Akhound-Sadegh, Viktor Ohanesian, Roberto Bondesan, Alán Aspuru-Guzik, Arnaud Doucet, Rob Brekelmans, Alexander Tong, Kirill Neklyudov,
• Abstract要約: 事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 64.34482582690927
• License:
• Abstract: While score-based generative models are the model of choice across diverse domains, there are limited tools available for controlling inference-time behavior in a principled manner, e.g. for composing multiple pretrained models. Existing classifier-free guidance methods use a simple heuristic to mix conditional and unconditional scores to approximately sample from conditional distributions. However, such methods do not approximate the intermediate distributions, necessitating additional 'corrector' steps. In this work, we provide an efficient and principled method for sampling from a sequence of annealed, geometric-averaged, or product distributions derived from pretrained score-based models. We derive a weighted simulation scheme which we call Feynman-Kac Correctors (FKCs) based on the celebrated Feynman-Kac formula by carefully accounting for terms in the appropriate partial differential equations (PDEs). To simulate these PDEs, we propose Sequential Monte Carlo (SMC) resampling algorithms that leverage inference-time scaling to improve sampling quality. We empirically demonstrate the utility of our methods by proposing amortized sampling via inference-time temperature annealing, improving multi-objective molecule generation using pretrained models, and improving classifier-free guidance for text-to-image generation. Our code is available at https://github.com/martaskrt/fkc-diffusion.
• Abstract（参考訳）: スコアベースの生成モデルは、様々な領域にまたがる選択モデルであるが、複数の事前学習されたモデルを構成するために、原則的に推論時の振る舞いを制御するための限られたツールが存在する。 既存の分類器なし指導法では、条件分布からおよそサンプルに条件分布と非条件スコアを混合するために単純なヒューリスティックを用いている。 しかし、そのような手法は中間分布を近似せず、追加の「コレクター」ステップを必要とする。 本研究では,事前学習したスコアベースモデルから得られたアニール,幾何平均,あるいは製品分布の配列から,効率的かつ原理化されたサンプリング方法を提案する。 我々は、適切な偏微分方程式(PDE)の項を慎重に考慮し、祝賀されたファインマン・カック公式に基づいてファインマン・カック補正(FKC)と呼ぶ重み付きシミュレーションスキームを導出する。 これらのPDEをシミュレートするために、推論時間スケーリングを利用してサンプリング品質を改善するシークエンシャルモンテカルロ(SMC)再サンプリングアルゴリズムを提案する。 提案手法の有効性を実証的に実証し, 推定時温度アニールによるアモルファスサンプリングを提案し, 事前学習モデルを用いて多目的分子生成を改善し, テキスト・ツー・イメージ生成のための分類器フリーガイダンスを改善した。 私たちのコードはhttps://github.com/martaskrt/fkc-diffusion.comで利用可能です。

関連論文リスト

• Stochastic Sampling from Deterministic Flow Models [8.849981177332594]
  そこで本論文では,フローモデルを同じ境界分布を持つ微分方程式の族(SDE)に変換する手法を提案する。 我々は,おもちゃのガウスセットアップと大規模イメージネット生成タスクにおいて,提案手法の利点を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T05:18:28Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference [12.91637880428221]
  本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。 後方サンプリングの課題を2つの単純なサンプリング問題に分割する。 その性能は最近の最先端の最適化とサンプリング手法と比較される。
  論文  参考訳（メタデータ） (2023-04-21T17:17:51Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。