論文の概要: What Exactly Does Guidance Do in Masked Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.10971v1
• Date: Thu, 12 Jun 2025 17:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.901371
• Title: What Exactly Does Guidance Do in Masked Discrete Diffusion Models
• Title（参考訳）: 離散拡散モデルにおけるガイダンスの実際
• Authors: He Ye, Rojas Kevin, Tao Molei,
• Abstract要約: また,全データ分布がクラス上の混合である場合,ガイダンスはクラス固有の領域を増幅し,他のクラスと共有する領域を抑圧することを示した。 本研究は, 出力分布の形成だけでなく, サンプリング軌道の動的制御においても, 誘導の役割を強調した。
• 参考スコア（独自算出の注目度）: 1.283555556182245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study masked discrete diffusion models with classifier-free guidance (CFG). Assuming no score error nor discretization error, we derive an explicit solution to the guided reverse dynamics, so that how guidance influences the sampling behavior can be precisely characterized. When the full data distribution is a mixture over classes and the goal is to sample from a specific class, guidance amplifies class-specific regions while suppresses regions shared with other classes. This effect depends on the guidance strength $w$ and induces distinct covariance structures in the sampled distribution. Notably, we observe quantitatively different behaviors in $1$D and $2$D. We also show that for large $w$, the decay rate of the total variation ($\mathrm{TV}$) along the reverse dynamics is double-exponential in $w$ for both $1$D and $2$D. These findings highlight the role of guidance, not just in shaping the output distribution, but also in controlling the dynamics of the sampling trajectory. Our theoretical analysis is supported by experiments that illustrate the geometric effects of guidance and its impact on convergence.
• Abstract（参考訳）: 分類器フリーガイダンス(CFG)を用いたマスク付き離散拡散モデルについて検討した。 スコア誤差や離散化誤差を仮定すると、ガイドされた逆ダイナミクスに対する明示的な解が導出され、ガイダンスがサンプリング動作にどのように影響するかを正確に評価できる。 完全なデータ分散がクラス上の混合であり、目的が特定のクラスからサンプルすることである場合、ガイダンスはクラス固有の領域を増幅し、他のクラスと共有される領域を抑圧する。 この効果は誘導強度$w$に依存し、サンプル分布において異なる共分散構造を誘導する。 特に、1ドルと2ドルで量的に異なる振る舞いを観察する。 また、大きな$w$の場合、逆ダイナミクスに沿った全変動($\mathrm{TV}$)の減衰率は、$w$で1ドルと2ドルの両方で2倍になることを示す。 これらの知見は, 出力分布を形成するだけでなく, サンプリング軌道のダイナミクスを制御する上でも, ガイダンスの役割を強調した。 我々の理論解析は、ガイダンスの幾何学的効果とその収束への影響を説明できる実験によって支持されている。

関連論文リスト

• Generalization Dynamics of Linear Diffusion Models [8.107431208836426]
  線形デノイザを用いた簡単なモデルを用いて,記憶から一般化への遷移を解析的に検討する。 我々の研究は、拡散ベース生成モデルの単純なモデルにおいて、サンプルの複雑さが一般化をどのように支配するかを明らかにする。
  論文  参考訳（メタデータ） (2025-05-30T16:31:58Z)
• Provable Efficiency of Guidance in Diffusion Models for General Data Distribution [7.237817437521988]
  拡散モデルは、生成モデリングの強力なフレームワークとして登場した。 ガイダンス技術は、サンプルの品質を高める上で重要な役割を担っている。 既存の研究は、各クラスで条件付けられた分布が等方的ガウス的であるか、余剰条件のある一次元間隔で支持されるケーススタディのみに焦点を当てている。
  論文  参考訳（メタデータ） (2025-05-02T16:46:43Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• What does guidance do? A fine-grained analysis in a simple setting [19.51972040691315]
  誘導の力学を2つのケースで詳細に解析する。 非ゼロレベルのスコア推定誤差に対して、十分な大きなガイダンスがサポートからのサンプリングにつながることを証明します。
  論文  参考訳（メタデータ） (2024-09-19T20:16:33Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• On counterfactual inference with unobserved confounding [36.18241676876348]
  独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。 我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。 対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-11-14T04:14:37Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。