論文の概要: TDLM: Adaptive Temporal Integration for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.36940v1
• Date: Tue, 27 Oct 2026 10:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.560412
• Title: TDLM: Adaptive Temporal Integration for Diffusion Language Models
• Title（参考訳）: TDLM:拡散言語モデルのための適応的時間統合
• Abstract要約: マスク付き拡散言語モデルは未解決トークンの表現を繰り返し計算するが、従来のデノイザはステップ間の再利用のためにこれらの表現を明示的に保持していない。 本稿では,解けない各位置が,凍結した復調器内で隠された表現の履歴に共用できる時間自己定義拡散言語モデル(TDLM)を提案する。 LLaDAとDream全体で、主要な比較では、対応する元の拡散言語モデルよりも7.15$times$高速な生成が示され、評価されたタスクに対する競合的な回答品質が示される。
• 参考スコア（独自算出の注目度）: 12.310012105997535
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Masked diffusion language models repeatedly compute representations for unresolved tokens, but conventional denoisers do not explicitly retain these representations for reuse across steps. We introduce Temporal Self-Conditioning Diffusion Language Model (TDLM), which lets each unresolved position attend to its own history of hidden representations within a frozen denoiser. This gives later predictions access to computation already performed. Training uses self-generated trajectories and a simple cross-entropy objective for tokens revealed between consecutively sampled decoding steps, while causal temporal attention permits parallel evaluation during training. On LLaDA, the temporal modules add only approximately 0.84% trainable parameters. Across LLaDA and Dream, the main comparison shows up to 7.15$\times$ faster generation than the corresponding original diffusion language model, with competitive answer quality on the evaluated tasks. These results motivate temporal memory as a practical way to make more effective use of repeated denoising computation.
• Abstract（参考訳）: マスク付き拡散言語モデルは未解決トークンの表現を繰り返し計算するが、従来のデノイザはステップ間の再利用のためにこれらの表現を明示的に保持していない。 本稿では,解けない各位置が,凍結した復調器内で隠された表現の履歴に出席することのできる時間自己定義拡散言語モデル(TDLM)を提案する。 これにより、後に既に実行された計算へのアクセスが予測される。 トレーニングは自己生成の軌跡と、連続的なサンプルデコードステップ間で明らかにされるトークンに対する単純なクロスエントロピー目的を用いており、因果的時間的注意はトレーニング中に並列評価を可能にする。 LLaDAでは、時間モジュールはおよそ0.84%のトレーニング可能なパラメータしか加えない。 LLaDAとDream全体では、主要な比較では、対応する元の拡散言語モデルよりも7.15$\times$高速な生成が見られ、評価されたタスクに対する競合的な回答品質がある。 これらの結果から、時間記憶は繰り返しの復号化計算をより効果的に活用するための実践的な方法として動機づけられた。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Self-Augmenting Retrieval for Diffusion Language Models [22.049744034827242]
  捨てられたトークンは、実際に検索拡張生成に有用なルックアヘッド信号であることを示す。 我々はこれを拡散言語モデル(SARDI)の自己拡張検索によって活用する。 SARDIはトレーニングフリーで、レトリバーに依存しず、任意の推論可能な離散拡散言語モデルに適用できる。
  論文  参考訳（メタデータ） (2026-06-04T17:56:27Z)
• How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
  遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。 本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
  論文  参考訳（メタデータ） (2026-05-08T16:05:19Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Just on Time: Token-Level Early Stopping for Diffusion Language Models [0.0]
  拡散言語モデルは、しばしば計算的に非効率な反復的洗練を通じてテキストを生成する。 トレーニング不要でトークンレベルの早期停止アプローチを導入し,各位置における収束を独立に識別する。 これにより、タスク固有の微調整をせずに、適応的な各トーケン凍結が得られ、必要な拡散ステップの総数を大幅に削減する。
  論文  参考訳（メタデータ） (2026-02-11T18:44:04Z)
• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
  拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。 最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。 我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
  論文  参考訳（メタデータ） (2025-05-27T17:39:39Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。