論文の概要: Theory-Informed Improvements to Classifier-Free Guidance for Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2507.08965v1
• Date: Fri, 11 Jul 2025 18:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:21.969075
• Title: Theory-Informed Improvements to Classifier-Free Guidance for Discrete Diffusion Models
• Title（参考訳）: 離散拡散モデルに対する分数化自由誘導の理論インフォームド改善
• Authors: Kevin Rojas, Ye He, Chieh-Hsin Lai, Yuta Takida, Yuki Mitsufuji, Molei Tao,
• Abstract要約: 本稿では,CFGをマスク付き離散拡散の文脈で理論的に解析する。 サンプリング(入力が重くマスクされている場合)の早期ガイダンスは生成品質を損なうが、後期ガイダンスは大きな効果がある。 提案手法は,データ分布と初期(マスキング/ユニフォーム)分布の輸送を円滑に行い,その結果,サンプルの品質が向上した。
• 参考スコア（独自算出の注目度）: 24.186262549509102
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Classifier-Free Guidance (CFG) is a widely used technique for conditional generation and improving sample quality in continuous diffusion models, and recent works have extended it to discrete diffusion. This paper theoretically analyzes CFG in the context of masked discrete diffusion, focusing on the role of guidance schedules. Our analysis shows that high guidance early in sampling (when inputs are heavily masked) harms generation quality, while late-stage guidance has a larger effect. These findings provide a theoretical explanation for empirical observations in recent studies on guidance schedules. The analysis also reveals an imperfection of the current CFG implementations. These implementations can unintentionally cause imbalanced transitions, such as unmasking too rapidly during the early stages of generation, which degrades the quality of the resulting samples. To address this, we draw insight from the analysis and propose a novel classifier-free guidance mechanism empirically applicable to any discrete diffusion. Intuitively, our method smoothens the transport between the data distribution and the initial (masked/uniform) distribution, which results in improved sample quality. Remarkably, our method is achievable via a simple one-line code change. The efficacy of our method is empirically demonstrated with experiments on ImageNet (masked discrete diffusion) and QM9 (uniform discrete diffusion).
• Abstract（参考訳）: CFG (Classifier-Free Guidance) は, 連続拡散モデルにおける条件生成とサンプル品質向上に広く用いられている手法であり, 最近では離散拡散に拡張されている。 本稿では,CFGをマスク付き離散拡散の文脈で理論的に解析し,指導スケジュールの役割に着目した。 分析の結果,サンプリングの早期指導(入力が重くマスキングされた場合)は生成品質に悪影響を及ぼすが,後期指導の方が大きな効果があることがわかった。 これらの知見は、最近の指導スケジュール研究における経験的観察の理論的な説明を提供する。 この分析は、現在のCFG実装の欠陥も明らかにしている。 これらの実装は意図せず不均衡な遷移を引き起こす可能性があり、例えば、生成の初期段階であまりに高速に解凍し、結果として得られるサンプルの品質を低下させる。 そこで我々は,この分析から知見を導き,任意の離散拡散に実証的に適用可能な新しい分類器フリー誘導機構を提案する。 直感的には,本手法はデータ分布と初期(マスキング/ユニフォーム)分布の輸送を円滑にし,その結果,サンプルの品質が向上する。 注目すべきは、単純な1行のコード変更で実現可能であることだ。 提案手法の有効性は,ImageNetとQM9の実験により実証的に実証された。

関連論文リスト

• Navigating Sparse Molecular Data with Stein Diffusion Guidance [48.21071466968102]
  最適制御(SOC)は、微調整拡散モデルのための原則的フレームワークとして登場した。 予測されたクリーンなサンプルに対して,既成の分類器を用いて拡散モデルを導出する,トレーニング不要な手法のクラスが開発されている。 本稿では,サロゲート最適制御目標に基づく新しいトレーニングフリーガイダンスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• Adaptive Destruction Processes for Diffusion Samplers [12.446080077998834]
  本稿では,拡散サンプリング装置におけるトレーニング可能な破壊プロセスの課題とメリットについて考察する。 ステップ数に制限がある場合、生成過程と破壊過程の両方を訓練することで、より高速な収束とサンプリング品質の向上が期待できる。
  論文  参考訳（メタデータ） (2025-06-02T11:07:27Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Fair Sampling in Diffusion Models through Switching Mechanism [5.560136885815622]
  本研究では,拡散モデルに対するテクスタトリビュートスイッチング機構という,公平性を考慮したサンプリング手法を提案する。 提案手法の有効性を2つの重要な側面から数学的に証明し,実験的に実証する。
  論文  参考訳（メタデータ） (2024-01-06T06:55:26Z)
• Manifold Preserving Guided Diffusion [121.97907811212123]
  条件付き画像生成は、コスト、一般化可能性、タスク固有のトレーニングの必要性といった課題に直面している。 トレーニング不要な条件生成フレームワークであるManifold Preserving Guided Diffusion (MPGD)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:08:06Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。