論文の概要: ALoDLM: Adaptively Looped Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.04198v1
• Date: Sat, 03 Oct 2026 01:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:26:08.526776
• Title: ALoDLM: Adaptively Looped Diffusion Language Models
• Title（参考訳）: ALoDLM: 適応ループ拡散言語モデル
• Abstract要約: ALoDLMを導入し、一様計算をトークン適応型遅延再帰に置き換える。 ALoDLMは遅延表現を反復的に洗練し、トークンの難易度に応じて計算を割り当てる。 ALoDLMは高速並列デコードも保持し、評価された自己回帰モデルと拡散モデルの間に強い品質効率のトレードオフをもたらす。
• 参考スコア（独自算出の注目度）: 26.707893327489614
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion language models (DLMs) enable fast generation by predicting multiple tokens in parallel, but their practical adoption remains limited by a persistent quality gap relative to comparably sized autoregressive (AR) models. We attribute this gap to a computation-difficulty mismatch: within a partially observed sequence, some unknown tokens are easy to predict, while others require substantially more computation. Existing DLMs nevertheless apply uniform computational depth to all unknown positions at each denoising step. We introduce ALoDLM, which replaces uniform computation with token-adaptive latent recurrence. At each denoising step, ALoDLM iteratively refines latent representations and allocates computation according to token difficulty. Tokens ready to commit are fed back as discrete context, while unresolved tokens retain and further refine their latent states through additional recurrent passes. To learn token prediction and computation allocation jointly, we formulate token-wise computation schedules as latent variables and derive a conditional negative evidence lower bound (NELBO). We train ALoDLM at 1.7B and 8B parameter scales. Across eleven benchmarks, ALoDLM outperforms all evaluated DLMs and the corresponding AR baselines in average benchmark score at both scales. ALoDLM also retains fast parallel decoding, yielding a strong quality-efficiency trade-off among evaluated autoregressive and diffusion models under optimized inference engines.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、複数のトークンを並列に予測することで高速な生成を可能にするが、その実践的採用は、比較可能な大きさの自己回帰(AR)モデルと比較して、永続的な品質ギャップによって制限されている。 部分的に観察されたシーケンスでは、未知のトークンのいくつかは予測が簡単であり、他のトークンは計算をかなり必要とします。 既存のDLMは、各デノナイジングステップにおける未知の全ての位置に対して均一な計算深度を適用する。 ALoDLMを導入し、一様計算をトークン適応型遅延再帰に置き換える。 各denoisingステップでは、ALoDLMは遅延表現を反復的に洗練し、トークンの難易度に応じて計算を割り当てる。 コミットできるトークンは個別のコンテキストとして送り返され、未解決のトークンは追加の繰り返しパスを通じて潜在状態を保持し、さらに洗練される。 トークン予測と計算割り当てを共同で学習するために,トークン演算スケジュールを潜在変数として定式化し,条件付き負のエビデンスローバウンド(NELBO)を導出する。 我々はALoDLMを1.7Bと8Bのパラメータスケールで訓練する。 11のベンチマークで、ALoDLMは評価されたDLMと対応するARベースラインを、両方のスケールで平均ベンチマークスコアで上回る。 ALoDLMは高速並列デコードも保持し、最適化推論エンジンの下で評価された自己回帰モデルと拡散モデルの間で高い品質効率のトレードオフをもたらす。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs [29.561307941602482]
  マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。 適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。 DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
  論文  参考訳（メタデータ） (2026-05-31T05:27:01Z)
• Confidence-Based Decoding is Provably Efficient for Diffusion Language Models [8.527157686215117]
  拡散言語モデル (DLM) は、言語モデリングのための自己回帰モデル (AR) に代わる有望な代替品として登場した。 DLMにおける信頼度に基づく復号化のための理論解析フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-03-23T17:43:21Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• STDD:Spatio-Temporal Dynamics-Driven Token Refinement in Diffusion Language Models [12.172699141988728]
  拡散言語モデル(DLM)は、すべてのトークン位置を並列に反復的に記述することでテキストを生成する。 本稿では,各トークンの時間変動と空間偏差を動的に検出する新しいリマキング手法を提案する。 我々のアプローチは、主要なデータセット間でのDLMの運用効率を大幅に改善し、最大8.9倍のスピードアップを実現します。
  論文  参考訳（メタデータ） (2025-12-07T12:53:48Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。