論文の概要: Iterative Importance Fine-tuning of Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.04468v1
• Date: Thu, 06 Feb 2025 19:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:55:09.721248
• Title: Iterative Importance Fine-tuning of Diffusion Models
• Title（参考訳）: 拡散モデルの反復的重要度微調整
• Authors: Alexander Denker, Shreyas Padhy, Francisco Vargas, Johannes Hertrich,
• Abstract要約: この研究は、$h$-transformを推定することにより、微調整拡散モデルのための自己教師付きアルゴリズムを導入する。 テキスト・画像拡散モデルのクラス条件サンプリングと報酬微調整における本フレームワークの有効性を実証する。
• 参考スコア（独自算出の注目度）: 44.67216380548778
• License:
• Abstract: Diffusion models are an important tool for generative modelling, serving as effective priors in applications such as imaging and protein design. A key challenge in applying diffusion models for downstream tasks is efficiently sampling from resulting posterior distributions, which can be addressed using the $h$-transform. This work introduces a self-supervised algorithm for fine-tuning diffusion models by estimating the $h$-transform, enabling amortised conditional sampling. Our method iteratively refines the $h$-transform using a synthetic dataset resampled with path-based importance weights. We demonstrate the effectiveness of this framework on class-conditional sampling and reward fine-tuning for text-to-image diffusion models.
• Abstract（参考訳）: 拡散モデルは生成モデリングにとって重要なツールであり、イメージングやタンパク質設計などの応用において効果的な先駆となる。 下流タスクに拡散モデルを適用する上で重要な課題は、結果として生じる後続分布を効率よくサンプリングすることであり、これは$h$-transformを使って対処できる。 この研究は、$h$-transformを推定し、償却条件付きサンプリングを可能にする、微調整拡散モデルのための自己教師付きアルゴリズムを導入する。 本手法は,経路に基づく重み付けを組み込んだ合成データセットを用いて,$h$-transformを反復的に洗練する。 テキスト・画像拡散モデルのクラス条件サンプリングと報酬微調整における本フレームワークの有効性を実証する。

関連論文リスト

• Generative diffusion model with inverse renormalization group flows [0.0]
  拡散モデルは、ホワイトノイズによって破損したサンプルをデノナイズすることでデータを生成する。 本稿では,データ分散のマルチスケールな性質を利用する正規化群に基づく拡散モデルを提案する。 タンパク質構造予測および画像生成への応用を通じて,モデルの汎用性を検証する。
  論文  参考訳（メタデータ） (2025-01-15T19:00:01Z)
• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Non-Normal Diffusion Models [3.5534933448684134]
  拡散モデルは、データをノイズに変える過程を漸進的に反転させることでサンプルを生成する。 ステップサイズが 0 となると、逆過程はこれらの増分分布に不変であることを示す。 本稿では,これらのモデルが標準画像データセット上での密度推定および生成モデリングタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2024-12-10T21:31:12Z)
• Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets [65.42834731617226]
  Nabla-GFlowNetは、報酬勾配のリッチ信号を利用する最初のGFlowNet手法である。 提案手法は,安定拡散の高速かつ多様かつ事前保存的なアライメントを実現する。
  論文  参考訳（メタデータ） (2024-12-10T18:59:58Z)
• Informed Correctors for Discrete Diffusion Models [32.87362154118195]
  モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。 また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。 いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。