論文の概要: Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.37391v1
• Date: Tue, 29 Sep 2026 12:38:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.490698
• Title: Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける並列デコードのためのソフトトークンの再考
• Abstract要約: 拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
• 参考スコア（独自算出の注目度）: 62.63931587313321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) enable parallel generation by predicting and committing multiple tokens at each denoising step, yet they can generate individually plausible but mutually inconsistent tokens. Recent work shows that \emph{soft tokens} can mitigate this issue by representing uncertain positions with continuous embeddings built from the model's predictive distribution at the previous decoding step. However, although soft tokens are commonly understood as preserving predictive uncertainty, how soft-token feedback improves parallel decoding has not been systematically examined. In this paper, we investigate this question in frozen pretrained DLMs to examine soft-token feedback without the effects of additional training. To construct soft-token inputs in a training-free setting, we identify a geometric mismatch between conventional soft-token construction and the pretrained embedding space. Based on this observation, we propose a training-free, geometry-aware construction of soft tokens. Our analysis of soft-token feedback suggests that uncertainty preservation alone does not fully explain how it reshapes subsequent predictions. To better explain how soft-token feedback improves parallel decoding, we provide empirical evidence that it favors coherent token sequences. Across four pretrained DLMs and four math and code benchmarks, our method outperforms standard parallel decoding and a training-free Euclidean soft-token baseline. Code: https://github.com/kodaikawamura/rethinking-soft-tokens
• Abstract（参考訳）: 拡散言語モデル (DLMs) は、各段階で複数のトークンを予測し、コミットすることで並列生成を可能にするが、個別に妥当だが相互に一貫性のないトークンを生成することができる。 最近の研究は、前の復号ステップでモデルの予測分布から構築された連続的な埋め込みで不確実な位置を表すことによって、この問題を緩和できることを示している。 しかしながら、ソフトトークンは予測の不確実性を保存するものとして一般的に理解されているが、ソフトトークンフィードバックが並列デコードを改善する方法が体系的に検討されていない。 本稿では,凍結予備訓練DLMにおけるこの問題を考察し,追加訓練を伴わずにソフトトーンフィードバックを検証した。 トレーニング不要な環境でソフトトケインプットを構築するために,従来のソフトトケインプットと事前学習した埋め込み空間との幾何学的ミスマッチを同定する。 そこで本研究では,ソフトトークンのトレーニング不要な幾何学的構成を提案する。 軟弱フィードバックの分析から、不確実性保存だけでは、それがその後の予測をどう再認識するかを十分に説明できないことが示唆された。 ソフトトーケンフィードバックが並列デコーディングをどのように改善するかをよりよく説明するために、コヒーレントなトークンシーケンスを好む経験的証拠を提供する。 事前訓練された4つのDLMと4つの数学およびコードベンチマークにおいて、本手法は標準並列デコーディングと訓練不要なユークリッドソフトトケンベースラインより優れる。 コード:https://github.com/Kodaikawamura/rethinking-soft-tokens

関連論文リスト

• Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
  AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
  論文  参考訳（メタデータ） (2026-06-02T21:35:54Z)
• No Compute Left Behind: Rethinking Reasoning and Sampling with Masked Diffusion Models [42.158430350703505]
  マスク付き拡散言語モデルは、ランダムにマスキングされたシーケンスにおける埋め込み位置を訓練する。 推論・アズ・インフィルとマルチトークンエントロピーデコーディングを提案する。 本研究は,MDLMが使用するトレーニングと計算によって,多くの新しい推論とポストトレーニング手法が解き放たれることを示す。
  論文  参考訳（メタデータ） (2025-10-22T19:41:27Z)
• Improving Large Language Models with Concept-Aware Fine-Tuning [55.59287380665864]
  概念認識ファインチューニング(CAFT)は,大規模言語モデル(LLM)のための新しいマルチトークン学習手法である CAFTは複数のトークンにまたがるシーケンスの学習を可能にし、より強力な概念認識学習を促進する。 実験は、従来の次世代ファインタニング法と比較して大幅に改善された。
  論文  参考訳（メタデータ） (2025-06-09T14:55:00Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models [40.651650382105636]
  Vanillaメソッドは、サンプル間で新しいトークンの数が一貫していることを保証するために、パディングトークンを追加する。 本稿では,メモリや計算のオーバーヘッドを増大させることなく,異なるサンプルで受け入れられる不整合トークンの問題を解決する手法を提案する。 提案手法は, パディングトークンを追加することなく, 異なるサンプルの予測トークンが矛盾する状況に対処できる。
  論文  参考訳（メタデータ） (2024-05-13T08:24:21Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。