論文の概要: DA-DLM: Explicitly Modeling Token Dependencies in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.15070v1
- Date: Mon, 14 Sep 2026 05:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.100327
- Title: DA-DLM: Explicitly Modeling Token Dependencies in Diffusion Language Models
- Title（参考訳）: DA-DLM:拡散言語モデルにおけるトークン依存を明示的にモデル化する
- Abstract要約: 拡散言語モデル (DLMs) は、各ステップで複数のトークンを独立して予測するマスキングシーケンスを反復的に記述することでテキストを生成する。
本稿ではDA-DLMを提案する。DA-DLMはDAGに基づく依存性モデリングをDLMの反復的な設定に適応させるモデルである。
- 参考スコア（独自算出の注目度）: 40.53051304795532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Language Models (DLMs) generate text by iteratively denoising a masked sequence, independently predicting multiple tokens at each step. This conditional independence discards inter-token dependencies and degrades coherence-an issue that parallels the multi-modality problem in Non-Autoregressive Translation (NAT). Drawing on the Directed Acyclic Transformer (DAT), which tackles this problem in NAT via a Directed Acyclic Graph (DAG), we propose DA-DLM, a model that adapts DAG-based dependency modeling to DLMs' iterative setting through a position-oriented DAG design. The position-oriented DAG binds node groups to fixed output positions so that tokens fixed in earlier steps anchor neighboring predictions via learned transitions, and evolves with denoising to focus on remaining uncertainty as anchors accumulate. On language modeling, open-ended generation, and summarization, DA-DLM consistently outperforms Block Diffusion, especially under fewer denoising steps, and matches autoregressive models while preserving the parallel generation advantage. Our code is publicly available at https://github.com/jipy0222/DA-DLM.
- Abstract（参考訳）: 拡散言語モデル (DLMs) は、各ステップで複数のトークンを独立して予測するマスキングシーケンスを反復的に記述することでテキストを生成する。
この条件付き独立性は、非自己回帰翻訳(NAT)における多モード問題と平行するコヒーレンス問題を解消し、コヒーレンス問題を分解する。
DAG(Directed Acyclic Graph)を用いてNATにおけるこの問題に対処するDAT(Directed Acyclic Transformer)を描画し,DA-DLM(DA-DLM)を提案する。
位置指向DAGはノード群を固定出力位置にバインドすることで、前のステップで固定されたトークンが学習された遷移を通じて近隣の予測をアンカーする。
言語モデリング、オープン・エンド・ジェネレーション、要約について、DA-DLMはブロック拡散を一貫して上回り、特により少ないデノベーションステップで、並列生成の利点を維持しながら自己回帰モデルにマッチする。
私たちのコードはhttps://github.com/jipy0222/DA-DLM.comで公開されています。
関連論文リスト
- Prefix-Denoising Consistency: Test-Time Verification for Diffusion Language Models [6.053609157192373]
拡散言語モデル(DLM)のテスト時間自己検証手法であるPDC(emphPrefix-Denoising Consistency)を導入する。
PDCは、プレフィックス条件付き再生下でのDLMの特異なテスト時間信号を利用し、正しい軌道は不正確な信号よりも安定で再現性が高い。
これらの結果から, プレフィックス条件による再生は, テスト時間検証に有効なDLM固有のプリミティブであることがわかった。
論文 参考訳（メタデータ） (2026-08-26T02:45:09Z) - AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳（メタデータ） (2026-08-03T17:59:50Z) - ELF: Embedded Language Flows [76.80499600969769]
連続言語モデルは離散領域への最小適応で有効にすることができることを示す。
連続埋め込み空間における拡散モデルのクラスである埋め込み言語フロー(ELF)を提案する。
ELFは離散的かつ連続的なDLMよりも大幅に優れ、サンプリングステップを少なくして生成品質が向上する。
論文 参考訳（メタデータ） (2026-05-11T17:59:29Z) - Edit-Based Refinement for Parallel Masked Diffusion Language Models [47.05195944319345]
マスク付き拡散言語モデルは並列トークン生成を可能にし、復号効率を向上させる。
本稿では,軽量な後編集ステップで拡散生成を増強する編集ベース改良フレームワークME-DLMを提案する。
本手法は,HumanEvalで11.6点,GSM8Kで33.6点,全拡散ステップの8分の1を用いて一貫したゲインを得る。
論文 参考訳（メタデータ） (2026-05-10T15:31:22Z) - Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models [0.0]
拡散言語モデル(DLM)は自己回帰生成の代替となる構造を提供する。
高速DLM復号法は命令に強く敏感であり、しばしば自己回帰的な軌道に向かってドリフトする。
順序付き擬似結合と局所的認知循環を定義することで、この見解を定式化する。
論文 参考訳（メタデータ） (2026-05-10T04:00:52Z) - Locally Coherent Parallel Decoding in Diffusion Language Models [6.620088179445404]
拡散言語モデル(DLM)は、線形生成遅延と双方向機能を提供する。
標準DLMは条件付き境界分布とは独立してトークンをサンプリングする。
並列サンプリングを局所的依存モデルと照合する手法であるCoDiLAを紹介する。
論文 参考訳（メタデータ） (2026-03-03T09:56:53Z) - Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models [46.151072011636444]
EvoToken-DLMは、ハードバイナリマスクをソフトトークン分布に置き換える、拡散に基づく新しい言語モデリング手法である。
EvoToken-DLMは優れた性能を実現し、強力な拡散ベースとマスク付きDLMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-01-12T09:25:14Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。
因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
論文 参考訳（メタデータ） (2024-12-11T18:57:32Z) - Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。
拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。
本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
論文 参考訳（メタデータ） (2022-05-27T20:12:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。