論文の概要: Token Time Continuous Diffusion for Language Modeling

• arxiv url: http://arxiv.org/abs/2607.14106v1
• Date: Thu, 07 May 2026 16:23:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.009178
• Title: Token Time Continuous Diffusion for Language Modeling
• Title（参考訳）: 言語モデリングのためのトークン時間連続拡散
• Abstract要約: トークン時間連続拡散(TTCD)を導入する。 TTCDは連続空間で動作し、ガウスノイズを最終的なトークンキャンバスに決定論的にマッピングする。 我々はOpenWebText上で1億6000万のパラメータTTCDモデルをトレーニングし、それを自己蒸留する。
• 参考スコア（独自算出の注目度）: 16.729589221035074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we introduce token time continuous diffusion (TTCD), a new diffusion language model which (a) operates in continuous space, deterministically mapping Gaussian noise to a final token canvas with no further sampling, and crucially (b) incorporates a new notion of per-token times, with some tokens proceeding from noise to token at a faster rate than others. Continuous space modeling helps TTCD avoid the parallel sampling of multiple tokens, which is a key source of inaccuracy at high speedups for models that iterate purely in discrete space. The notion of per-token times helps TTCD to better model conditional generation, allows for more sure tokens to proceed at a faster rate, and allows for differentiated inter-token influences during refinement. TTCD outperforms discrete models at high speedups. We train a 160M parameter TTCD model on OpenWebText, and then self-distill it; we find that at high speedups we are comparable in unconditional generation quality, and outperform in conditional generation, several existing models of similar size trained, on the same data, and self-distilled. We achieve similar gains in Sudoku solving as well.
• Abstract（参考訳）: 本稿では,新しい拡散言語モデルであるトークン時間連続拡散(TTCD)を紹介する。 a) 連続空間で動作し、ガウスノイズを最終的なトークンキャンバスに決定論的にマッピングする。 (b) トーケン時間という新しい概念を取り入れており、いくつかのトークンはノイズからトークンへと他のトークンよりも速い速度で進行している。 連続空間モデリングは、TTCDが複数のトークンの並列サンプリングを避けるのに役立つ。 トークン単位の時間の概念は、TTCDが条件付き生成をより良くモデル化し、より確実なトークンをより高速に進行させ、洗練中のトークン間の影響を区別できるようにするのに役立つ。 TTCDは高速で離散モデルより優れている。 我々はOpenWebText上で1億6000万のパラメータTTCDモデルをトレーニングし、それを自己蒸留し、高速では条件付き生成の品質に匹敵し、条件付き生成では性能が優れており、同じデータに基づいて複数の類似サイズの既存のモデルが訓練され、自己蒸留されていることがわかった。 また,スドク解法においても同様の効果が得られている。

関連論文リスト

• Temporal Self-Distillation: Faster Inference in Discrete Diffusion Language Models [11.929379448468568]
  拡散言語モデル(dLLMs)は、複数のトークンを並列に生成することで高速な推論を約束するが、並列デコーディングが過度にプッシュされた場合、パフォーマンスが著しく低下する。 本研究では, 短時間の蒸留により, dLLMsを高速な推論のために訓練する簡易な自己蒸留法であるTSDを導入する。
  論文  参考訳（メタデータ） (2026-09-14T07:59:45Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Accelerating Discrete Diffusion Models with Parallel-In-Time Sampling [55.388363730120325]
  本研究では,CTMC(Continuous-Time Markov Chain)フレームワークにおいて,離散拡散を吸収するための$-leapingアルゴリズムを並列化する。 我々は,$$-leapingアルゴリズムとPicard法の連続時間積分形式を利用して,並列時間サンプリング高速化を実現する。 本研究は, 分子構造や言語生成などの応用において, 効率的な並列推論のための離散拡散モデルの可能性を広げるものである。
  論文  参考訳（メタデータ） (2026-07-01T10:59:33Z)
• Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models [5.75338138628308]
  非対称な視点から時系列言語モデリングにおけるトークン効率について検討する。 TSトークンは、多くのトークンが冗長な周波数パターンを共有し、小さなサブセットが重要な時間的証拠を保存している、非常に不均一なスペクトル寄与を有することを示す。 我々は、周波数領域構造を介してTSトークンを圧縮し、層間のプロンプトトークンを段階的に削減する適応トークン予算フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-06-11T17:39:26Z)
• Just on Time: Token-Level Early Stopping for Diffusion Language Models [0.0]
  拡散言語モデルは、しばしば計算的に非効率な反復的洗練を通じてテキストを生成する。 トレーニング不要でトークンレベルの早期停止アプローチを導入し,各位置における収束を独立に識別する。 これにより、タスク固有の微調整をせずに、適応的な各トーケン凍結が得られ、必要な拡散ステップの総数を大幅に削減する。
  論文  参考訳（メタデータ） (2026-02-11T18:44:04Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• Next Tokens Denoising for Speech Synthesis [51.320443764269726]
  Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。 毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。 ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
  論文  参考訳（メタデータ） (2025-07-30T15:03:36Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration [0.3626013617212667]
  本稿では,AMUSD (Asynchronous Multi-device Speculative Decoding) を導入し,ドラフトを分離し,フェーズを検証することによって生成を高速化するシステムを提案する。 AMUSDは、1つのモデル(ドラフトまたは検証)のみが一度にトークン生成を行う従来の投機復号法とは異なり、どちらのモデルも別々のデバイス上で独立して予測を行うことができる。 我々は、複数のデータセットに対するアプローチを評価し、AMUSDが投機的復号化よりも平均29%改善し、従来の自己回帰復号化よりも1.96$times$スピードアップを達成したことを示す。
  論文  参考訳（メタデータ） (2024-10-22T19:15:35Z)
• LANTERN: Accelerating Visual Autoregressive Models with Relaxed Speculative Decoding [30.630803933771865]
  実験により,提案手法が投機的復号化よりも大幅に高速化されたことを示す。 LANTERNは、greedyデコーディングやランダムサンプリングと比較して、$mathbf1.75times$と$mathbf1.82times$のスピードアップを増大させる。
  論文  参考訳（メタデータ） (2024-10-04T12:21:03Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis [90.3069686272524]
  本稿では,高品質音声合成のための高速条件拡散モデルであるFastDiffを提案する。 FastDiffは、長期の依存関係を効率的にモデル化するために、さまざまな受容的フィールドパターンの時間認識可能な位置可変の畳み込みを使用する。 我々は、FastDiffに基づいて、高忠実度音声波形を生成するエンドツーエンドのテキスト音声合成器FastDiff-TTSを設計する。
  論文  参考訳（メタデータ） (2022-04-21T07:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。