論文の概要: Support Before Frequency in Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2605.13999v1
• Date: Wed, 13 May 2026 18:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.451029
• Title: Support Before Frequency in Discrete Diffusion
• Title（参考訳）: 離散拡散における周波数前支援
• Authors: Adrian Müller, Antoine Gonon, Zebang Shen, Ya-Ping Hsieh, Niao He,
• Abstract要約: 正確な逆処理は、粗いサポート情報とより微細な周波数情報の間の階層構造を誘導することを示す。 拡散の均一化と吸収のために、各シングルトークンの逆編集がリードスケールに分解されることを示す。 この結果から,離散拡散モデルはデータ周波数よりも先にデータサポートを学ぶことが示唆された。
• 参考スコア（独自算出の注目度）: 30.135705194385654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models are increasingly competitive for language modeling, yet it remains unclear how their denoising objectives organize learning. Although these objectives target the full data distribution, we show that the exact reverse process induces a hierarchy between coarse support information and finer frequency information. For uniform and absorbing (a.k.a. masking) diffusion, we prove that, in the small-noise regime of the final denoising steps, each single-token reverse edit decomposes into a leading scale, determined by whether it moves toward the data support (e.g., grammatically valid sentences), and a finer coefficient, determining relative probabilities within the same scale. Thus, recovering validity structure only requires learning the correct order of magnitude of reverse probabilities, whereas recovering data frequencies requires coefficient-level estimation. The separation is mechanism-dependent: uniform diffusion exhibits a trichotomy into validity-improving, validity-preserving, and validity-worsening edits, while absorbing diffusion places its leading-order mass on validity-improving moves. Experiments on a masked language diffusion model and synthetic regular-language tasks support these predictions: support-localization emerges earlier than within-support frequency ranking, and the contrast between uniform and absorbing diffusion matches the predicted rate separation. Together, our results suggest that discrete diffusion models learn data support before data frequencies.
• Abstract（参考訳）: 離散拡散モデルは言語モデリングの競争力はますます高まっているが、その認知的目的が学習をどう組織化するのかはいまだ不明である。 これらの目的は全データ分布を対象としているが、正確な逆過程は、粗いサポート情報とより詳細な周波数情報の間の階層構造を誘導することを示す。 均一かつ吸収的な拡散(マスキング)のために、最終復調段階の小さなノイズ状態において、各シングルトーケンの逆編集は、データサポート(例えば、文法的に有効な文)に向かうかどうかによって決定される主要なスケールに分解され、同じスケール内の相対確率を決定するより細かい係数が証明される。 したがって、妥当性の回復には逆確率の正しい順序の学習が必要であり、一方、データ周波数の回復には係数レベルの推定が必要である。 均一拡散は、正当性改善、正当性保存、正当性改善の編集に三分法を呈し、一方拡散を吸収することは、正当性改善の動きに最上位の質量を割り当てる。 マスク付き言語拡散モデルと合成正規言語タスクの実験はこれらの予測を裏付ける: サポートローカライゼーションは、サポート内周波数ランキングよりも早く出現し、均一と吸収拡散のコントラストは予測レート分離と一致する。 この結果から,離散拡散モデルがデータ周波数よりも先にデータサポートを学ぶことが示唆された。

関連論文リスト

• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data [55.54827581105283]
  本研究では, 吸収拡散の具体的なスコアを, クリーンデータの条件付き確率として表すことができることを示す。 時間に依存しない条件付き確率を特徴付ける時間条件のない専用拡散モデルを提案する。 5つのゼロショット言語モデルベンチマークにおける拡散モデル間のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T04:22:11Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。