論文の概要: Hierarchical Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.29255v1
• Date: Wed, 21 Oct 2026 06:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.25545
• Title: Hierarchical Masked Diffusion Language Models
• Title（参考訳）: 階層型マスク付き拡散言語モデル
• Abstract要約: マスク付き拡散言語モデルは自己回帰モデルの代替として登場し、並列トークン生成を可能にしている。 本稿では,階層型マスク付き拡散言語モデル(Hierarchical Masked Diffusion Language Model, HMDLM)を紹介する。 各階層レベルのノイズスケジュールを与えると、より優先的な位置を明らかにするためのソフトで制御可能な好みが生じる。
• 参考スコア（独自算出の注目度）: 24.37674114232638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models have emerged as an alternative to autoregressive models, enabling parallel token generation. However, standard masked diffusion language models use a shared noise schedule across positions without explicitly encoding which positions should be resolved first. Many tasks exhibit a natural priority among positions: document titles and section headings can guide the generation of body text, while Sudoku cells determined directly from the initial clues can help resolve more difficult cells. To incorporate this notion of priority (or hierarchy) among token positions, we introduce the Hierarchical Masked Diffusion Language Model (HMDLM), which augments each token position with a hierarchy level available as part of the training data, and requires zero or minimal additional annotations. It factors generation into two passes: the first predicts a hierarchy distribution over masked positions, the second predicts token distributions conditioned on it. Giving each hierarchy level its own noise schedule induces a soft, controllable preference for revealing higher-priority positions earlier while keeping decoding fully parallel. Our formulation is mathematically grounded, and we re-derive the forward and reverse processes and the NELBO for this factorization. Our evaluation shows that for the task of language generation on LM1B, HMDLM reduces perplexity by more than 1.5 points over Anchored Diffusion Language Model (ADLM), a recently proposed strong diffusion baseline; on WikiHow, we see a drop in perplexity of up to 4.4 pts on ADLM and up to 7 pts against MDLM. An LLM judge on WikiHow prefers HMDLM generations (the two variants combined) more than $2\times$ as often as the baseline. On the task of solving Sudoku puzzles requiring multi-step reasoning, it improves solution accuracy by up to $8.6\%$ absolute points over existing diffusion baselines.
• Abstract（参考訳）: マスク付き拡散言語モデルは自己回帰モデルの代替として登場し、並列トークン生成を可能にしている。 しかし、標準的なマスク付き拡散言語モデルは、どの位置を最初に解決すべきかを明示的に符号化することなく、位置間で共有ノイズスケジュールを使用する。 文書のタイトルやセクションの見出しは、ボディテキストの生成を導くことができるのに対し、初期手掛かりから直接決定されたスドク細胞は、より難しい細胞を解くのに役立つ。 この優先度(階層)の概念をトークン位置に組み込むために,階層的マスケッド拡散言語モデル(HMDLM)を導入し,各トークン位置をトレーニングデータの一部として階層レベルで拡張し,ゼロあるいは最小限のアノテーションを必要とする。 第1はマスクされた位置上の階層分布を予測し、第2はそれに条件付けられたトークン分布を予測する。 各階層レベルに独自のノイズスケジュールを与えると、デコードを完全に並列に保ちながら、より優先度の高い位置を明らかにするためのソフトで制御可能な好みが引き起こされる。 我々の定式化は数学的に基礎を置いており、この分解のために前方および逆過程と NELBO を導出する。 近年提案されている強力な拡散ベースラインである Anchored Diffusion Language Model (ADLM) に対して,HMDLM は LM1B 上での言語生成のタスクにおいて,ADLM に対して最大4.4 pt,MDLM に対して最大7 pt のパープレキシティが低下していることを示す。 WikiHow の LLM 判事は HMDLM 世代 (2つの変種を組み合わせたもの) をベースラインとして 2 ドル以上を好んでいる。 多段階推論を必要とする数独パズルの解法では、既存の拡散ベースラインよりも最大8.6\%の絶対点の解精度が向上する。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
  文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。 本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:55:27Z)
• Mask Is What DLLM Needs: A Masked Data Training Paradigm for Diffusion LLMs [26.45111031153368]
  ランダムノイズスケジューラは、現実世界のシーケンスに固有の、高度に一様でない情報密度を見落としている。 情報密度ハブを抽出し,補完的優先性マスキングを適用することにより,1つのトレーニングインスタンスを分離し,推論と構文サンプルを相互に強化する。 実験では、4つのCodeとMath推論ベンチマークで平均精度が4%向上した。
  論文  参考訳（メタデータ） (2026-03-16T18:33:43Z)
• Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
  Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。 UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。 定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
  論文  参考訳（メタデータ） (2026-02-01T18:00:35Z)
• Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models [46.151072011636444]
  EvoToken-DLMは、ハードバイナリマスクをソフトトークン分布に置き換える、拡散に基づく新しい言語モデリング手法である。 EvoToken-DLMは優れた性能を実現し、強力な拡散ベースとマスク付きDLMベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-01-12T09:25:14Z)
• Soft-Masked Diffusion Language Models [35.191030145577145]
  マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。 SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。 最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
  論文  参考訳（メタデータ） (2025-10-20T06:42:03Z)
• Next Semantic Scale Prediction via Hierarchical Diffusion Language Models [31.562156001116673]
  HDLMは階層的な語彙の上に構築されており、細かな意味を持つ低レベルのトークンは、粗い粒度の意味を持つ高レベルのトークンに全射的にマッピングされる。 前処理では、各トークンは、スケジューラに従ってより抽象的なセマンティクスを持つ上位の祖先に独立に摂動される。 逆のプロセスでは、モデルは次のより詳細なセマンティクスを徐々に予測します。
  論文  参考訳（メタデータ） (2025-10-08T17:41:12Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。