論文の概要: One-Step Text Generation by Seq-Drifting

• arxiv url: http://arxiv.org/abs/2610.12879v1
• Date: Fri, 09 Oct 2026 02:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.351081
• Title: One-Step Text Generation by Seq-Drifting
• Title（参考訳）: Seq-Driftingによるワンステップテキスト生成
• Abstract要約: 拡散言語モデルはトークンを並列に生成するが、高品質なテキストを生成するには複数のサンプリングステップが必要である。 連続したトークン表現の列にドリフトを適用するフレームワークであるSeq-Driftingを提案する。 実証的に、Seq-DriftingはLM1B上の36.01の生成パープレキシティを1ステップで達成し、無条件と条件の両方で競合的に実行する。
• 参考スコア（独自算出の注目度）: 45.84436591423563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models generate tokens in parallel, but still require multiple sampling steps to produce high-quality text. In this paper, we investigate whether a model can learn to generate an entire sequence in a single forward pass. We propose Seq-Drifting, a framework that applies drifting to sequences of continuous token representations and directly learns a map from Gaussian noise to text. Unlike existing DLMs that derive the supervision at each position directly from the observed token in a training sequence, Seq-Drifting builds a drift field whose position-wise targets adapt to the current generated context. At each position, attraction guides each output toward a set of contextually plausible token representations, while repulsion discourages collapse across samples and repetition within sequences. The generator learns from this drift field during training and produces all tokens jointly in one pass at inference. Empirically, Seq-Drifting achieves a generative perplexity of 36.01 on LM1B in one step and performs competitively in both unconditional and conditional generation. Experiments on translation, summarization, and reasoning further demonstrate the applicability of the framework beyond open-ended generation. These results suggest that drifting over token sequences offers a promising path toward effective one-step text generation. Our code is available at https://github.com/jyliu-ai/Seq-Drifting.
• Abstract（参考訳）: 拡散言語モデルはトークンを並列に生成するが、高品質なテキストを生成するには複数のサンプリングステップが必要である。 本稿では,モデルが単一の前方通過で全シーケンスを生成することができるかどうかを検討する。 連続したトークン表現の列にドリフトを応用し,ガウス雑音からテキストへの写像を直接学習するフレームワークであるSeq-Driftingを提案する。 トレーニングシーケンスにおける観測トークンから直接各位置の監督を導出する既存のDLMとは異なり、Seq-Driftingは、現在生成されたコンテキストに位置ワイドターゲットが適応するドリフトフィールドを構築する。 それぞれの位置において、アトラクションは各出力を文脈的に妥当なトークン表現のセットへ誘導する一方、反発はサンプル間で崩壊し、シーケンス内で反復する。 ジェネレータは、トレーニング中にこのドリフトフィールドから学習し、推論時に1回のパスで全てのトークンを共同で生成する。 実証的に、Seq-DriftingはLM1B上の36.01の生成パープレキシティを1ステップで達成し、無条件と条件の両方で競合的に実行する。 翻訳、要約、推論の実験は、オープン・エンド・ジェネレーションを超えてフレームワークの適用性をさらに証明している。 これらの結果から,トークン列のドリフトは,効果的なワンステップテキスト生成への有望な道をもたらすことが示唆された。 私たちのコードはhttps://github.com/jyliu-ai/Seq-Drifting.comで公開されています。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention [0.0]
  Zonkeyは階層的な拡散モデルであり、生文字から文書レベルの表現まで、完全にトレーニング可能なパイプラインを通じて制限に対処する。 コアとなるのは、確率的開始順序(BOS)決定を学習する、差別化可能なトークンである。 Zonkeyは、ノイズからコヒーレントで可変長のテキストを生成し、創発的な階層を示す。
  論文  参考訳（メタデータ） (2026-01-29T14:17:37Z)
• Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
  RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2025-09-28T05:39:49Z)
• Enabling Approximate Joint Sampling in Diffusion LMs [16.729589221035074]
  マスケ拡散言語モデルでは、トークンを順に、そして潜在的に並列にアンマキングすることでテキストを生成する。 本稿では,1つのフルモデルフォワードパスにおいて,関節分布からの複数のトークンのサンプルをエミュレートする方法を考案する。
  論文  参考訳（メタデータ） (2025-09-25T21:23:26Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。