論文の概要: On the Role of Discreteness in Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2512.22630v1
• Date: Sat, 27 Dec 2025 16:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.148965
• Title: On the Role of Discreteness in Diffusion LLMs
• Title（参考訳）: 拡散LDMにおける離散性の役割について
• Authors: Ziqi Jin, Bin Wang, Xiang Lin, Lidong Bing, Aixin Sun,
• Abstract要約: 拡散過程と言語モデリングの観点を再考し、拡散力学と言語固有の要件を分離する5つの特性を概説する。 i) 均一な汚職は、どのように情報を配置するかを尊重せず、 (ii) トークンワイドの辺縁トレーニングは、並列デコーディング中にマルチトークンの依存関係をキャプチャできない。 これらの観察は、テキストの構造とより密接に一致した拡散過程を動機付け、より一貫性のある拡散言語モデルに向けた将来の研究を促進する。
• 参考スコア（独自算出の注目度）: 69.64854287505999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models offer appealing properties for language generation, such as parallel decoding and iterative refinement, but the discrete and highly structured nature of text challenges the direct application of diffusion principles. In this paper, we revisit diffusion language modeling from the view of diffusion process and language modeling, and outline five properties that separate diffusion mechanics from language-specific requirements. We first categorize existing approaches into continuous diffusion in embedding space and discrete diffusion over tokens. We then show that each satisfies only part of the five essential properties and therefore reflects a structural trade-off. Through analyses of recent large diffusion language models, we identify two central issues: (i) uniform corruption does not respect how information is distributed across positions, and (ii) token-wise marginal training cannot capture multi-token dependencies during parallel decoding. These observations motivate diffusion processes that align more closely with the structure of text, and encourage future work toward more coherent diffusion language models.
• Abstract（参考訳）: 拡散モデルは、並列復号化や反復洗練のような言語生成に魅力的な特性を提供するが、テキストの離散的かつ高度に構造化された性質は、拡散原理の直接的な適用に挑戦する。 本稿では,拡散過程と言語モデリングの観点から拡散言語モデリングを再考し,拡散力学と言語固有の要件を分離する5つの特性を概説する。 まず、埋め込み空間における連続拡散とトークン上の離散拡散に既存のアプローチを分類する。 次に、それぞれが5つの本質的な性質の一部のみを満足していることを示し、したがって構造的なトレードオフを反映している。 最近の大規模拡散言語モデルの解析を通して、我々は2つの中心的な問題を特定した。 (i)均一な汚職は、どのように情報を配置するかを尊重せず、また、 (II)トークンワイドの辺りのトレーニングは、並列デコーディング中にマルチトークンの依存関係をキャプチャできない。 これらの観察は、テキストの構造とより密接に一致した拡散過程を動機付け、より一貫性のある拡散言語モデルに向けた将来の研究を促進する。

関連論文リスト

• Guided Transfer Learning for Discrete Diffusion Models [21.909689920217982]
  離散拡散モデル(GTL)のためのガイド伝達学習を提案する。 GTLは、事前訓練されたデノイザを変更することなく、ターゲット分布からのサンプリングを可能にする。 また、プランナー選択された位置と上位候補トークンの評価に集中する効率的なガイド付きサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-12-11T18:05:55Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• A Convergence Theory for Diffusion Language Models: An Information-Theoretic Perspective [8.15094483029656]
  拡散モデルは並列トークンサンプリングを可能にし、より高速な生成と左から右への生成制約を排除する。 我々は情報理論の観点から拡散言語モデルの収束保証を開発する。 これらの結果は拡散言語モデルの実用性に関する新たな理論的洞察を与える。
  論文  参考訳（メタデータ） (2025-05-27T16:24:20Z)
• Continuous Diffusion Model for Language Modeling [64.7425225935854]
  離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。 本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space [7.131920232495329]
  現実の会話では、内容は多様であり、多種多様な世代を必要とする一対多の問題が存在する。 以前の研究では、離散型あるいはガウス型連続潜伏変数を導入し、一対多の問題に対処しようとした。 拡散モデルの助けを借りて対話生成の多様性を高める新しい手法であるDiffusionDialogを提案する。
  論文  参考訳（メタデータ） (2024-04-10T05:56:46Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)
• DiffS2UT: A Semantic Preserving Diffusion Model for Textless Direct Speech-to-Speech Translation [10.984745439751489]
  本稿では,テキスト連続表現空間における拡散前処理を適用して,新しい拡散モデルを提案する。 このようにして、拡散過程における連続音声表現空間の意味構造を保存し、連続拡散モデルと離散拡散モデルを統合する。 そこで,提案手法は,計算集約的な自己回帰ベースラインに匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-10-26T16:58:14Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。