論文の概要: Support Before Frequency in Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2605.13999v1
• Date: Wed, 13 May 2026 18:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.451029
• Title: Support Before Frequency in Discrete Diffusion
• Title（参考訳）: 離散拡散における周波数前支援
• Abstract要約: 正確な逆処理は、粗いサポート情報とより微細な周波数情報の間の階層構造を誘導することを示す。 拡散の均一化と吸収のために、各シングルトークンの逆編集がリードスケールに分解されることを示す。 この結果から,離散拡散モデルはデータ周波数よりも先にデータサポートを学ぶことが示唆された。
• 参考スコア（独自算出の注目度）: 30.135705194385654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models are increasingly competitive for language modeling, yet it remains unclear how their denoising objectives organize learning. Although these objectives target the full data distribution, we show that the exact reverse process induces a hierarchy between coarse support information and finer frequency information. For uniform and absorbing (a.k.a. masking) diffusion, we prove that, in the small-noise regime of the final denoising steps, each single-token reverse edit decomposes into a leading scale, determined by whether it moves toward the data support (e.g., grammatically valid sentences), and a finer coefficient, determining relative probabilities within the same scale. Thus, recovering validity structure only requires learning the correct order of magnitude of reverse probabilities, whereas recovering data frequencies requires coefficient-level estimation. The separation is mechanism-dependent: uniform diffusion exhibits a trichotomy into validity-improving, validity-preserving, and validity-worsening edits, while absorbing diffusion places its leading-order mass on validity-improving moves. Experiments on a masked language diffusion model and synthetic regular-language tasks support these predictions: support-localization emerges earlier than within-support frequency ranking, and the contrast between uniform and absorbing diffusion matches the predicted rate separation. Together, our results suggest that discrete diffusion models learn data support before data frequencies.
• Abstract（参考訳）: 離散拡散モデルは言語モデリングの競争力はますます高まっているが、その認知的目的が学習をどう組織化するのかはいまだ不明である。 これらの目的は全データ分布を対象としているが、正確な逆過程は、粗いサポート情報とより詳細な周波数情報の間の階層構造を誘導することを示す。 均一かつ吸収的な拡散(マスキング)のために、最終復調段階の小さなノイズ状態において、各シングルトーケンの逆編集は、データサポート(例えば、文法的に有効な文)に向かうかどうかによって決定される主要なスケールに分解され、同じスケール内の相対確率を決定するより細かい係数が証明される。 したがって、妥当性の回復には逆確率の正しい順序の学習が必要であり、一方、データ周波数の回復には係数レベルの推定が必要である。 均一拡散は、正当性改善、正当性保存、正当性改善の編集に三分法を呈し、一方拡散を吸収することは、正当性改善の動きに最上位の質量を割り当てる。 マスク付き言語拡散モデルと合成正規言語タスクの実験はこれらの予測を裏付ける: サポートローカライゼーションは、サポート内周波数ランキングよりも早く出現し、均一と吸収拡散のコントラストは予測レート分離と一致する。 この結果から,離散拡散モデルがデータ周波数よりも先にデータサポートを学ぶことが示唆された。

関連論文リスト

• Semantic DLM+: Improving Diffusion Language Models through Bias-variance Trade-off in Transition Kernel Design [59.05127237532803]
  拡散言語モデル(DLM)は、自己回帰言語モデルの代替として、強力なスケーリング能力を示している。 本稿では,この感度を一般化誤差の原理解析により検討し,3つの重要な因子を同定する。 本稿では,サンプリング中にグローバルな遷移と意味頻度のペナルティを付加するSemDLM+を提案する。
  論文  参考訳（メタデータ） (2026-06-13T14:41:55Z)
• Decoupled Residual Denoising Diffusion Models for Unified and Data Efficient Image-to-Image Translation [29.96691004865241]
  本稿では,統合的かつデータ効率のよいイメージ・ツー・イメージ(I2I)翻訳のためのDDD(Decoupled Residual Denoising Diffusion Model)を提案する。
  論文  参考訳（メタデータ） (2026-05-31T06:38:18Z)
• Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation [72.05592785529404]
  UDMの標準プラグインブリッジパラメタライゼーションは,後側頭蓋に最適化されないことを示す。 また,UDM関節法をマスク拡散様サンプリング操作に分解して保存する均一拡散の吸収状態再構成も導入した。
  論文  参考訳（メタデータ） (2026-05-21T17:27:19Z)
• MissHDD: Hybrid Deterministic Diffusion for Hetrogeneous Incomplete Data Imputation [4.935498694293104]
  異種特徴を2つの相補的生成チャネルに分離するハイブリッド決定論的拡散フレームワークを提案する。 DDIMに基づく連続チャネルは、数値変数に対して効率的で安定な決定論的記述を提供する。 ループホリングに基づく離散拡散にインスパイアされた離散潜在経路拡散チャネルは、有効なサンプルを残さずにカテゴリー的および離散的特徴をモデル化する。 2つのチャネルは、統一された条件計算目的の下で訓練され、混合型不完全データのコヒーレントな再構成を可能にする。
  論文  参考訳（メタデータ） (2025-11-18T14:44:49Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Authentic Discrete Diffusion Model [72.31371542619121]
  認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。 ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。 実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-01T15:51:10Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data [55.54827581105283]
  本研究では, 吸収拡散の具体的なスコアを, クリーンデータの条件付き確率として表すことができることを示す。 時間に依存しない条件付き確率を特徴付ける時間条件のない専用拡散モデルを提案する。 5つのゼロショット言語モデルベンチマークにおける拡散モデル間のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T04:22:11Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。