論文の概要: Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation

• arxiv url: http://arxiv.org/abs/2610.14162v1
• Date: Fri, 09 Oct 2026 17:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.017233
• Title: Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
• Title（参考訳）: Next-Concept Modeling: 高速で並列な粗大なテキスト生成
• Abstract要約: 拡散言語モデル(DLM)は自己回帰モデルよりも高速な生成のための並列サンプリングを提供する。 2段階の粗大なフレームワークであるNext-Concept Modeling (NCM)を紹介する。 スードゥークの推論タスクでは、NCMはあらゆる難易度で自己回帰的・拡散的ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 36.705822235021934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) offer parallel sampling for faster generation than autoregressive models, an increasingly important advantage as inference becomes a dominant computational workload. However, DLMs degrade quickly with fewer sampling steps, process the full sequence at every step, and require many passes over the dataset to reach good quality. We introduce Next-Concept Modeling (NCM), a two-stage, coarse-to-fine framework: a multiscale residual VQ-VAE encodes text into a hierarchy of discrete codes, and a transformer generates one level at a time, predicting all codes within a level in parallel. At matched parameter scales, NCM achieves better generative perplexity than the strongest DLM baseline on LM1B while running $21\times$ faster. On OpenWebText, NCM is competitive with the strongest DLM while running $10\times$ faster; on XSum, it matches the strongest DLM's ROUGE-L while being $31\times$ faster. On the reasoning task of Sudoku, NCM outperforms autoregressive and diffusion baselines across all difficulty levels, using fewer function evaluations. On the reasoning task of Sudoku, NCM outperforms autoregressive and diffusion baselines across all difficulty levels, using fewer function evaluations.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、自己回帰モデルよりも高速な生成のための並列サンプリングを提供する。 しかし、DLMはサンプリングステップを減らして急速に劣化し、全シーケンスを各ステップで処理し、多くのパスをデータセットに渡す必要がある。 マルチスケール残差VQ-VAEはテキストを離散コード階層にエンコードし、トランスフォーマーは一度に1つのレベルを生成し、並列に全てのコードを予測します。 一致したパラメータスケールでは、NCMは、LM1B上の最強のDLMベースラインよりも、より高速な21時間動作を実現している。 OpenWebTextでは、NCMは最強のDLMと競い合っていますが、XSumでは最強のDLMのROUGE-Lに匹敵します。 数独の推論タスクでは,NCMは機能評価を少なくして,全ての難易度において自己回帰的・拡散的ベースラインより優れる。 数独の推論タスクでは,NCMは機能評価を少なくして,全ての難易度において自己回帰的・拡散的ベースラインより優れる。

関連論文リスト

• Parallelism and Generation Order in Masked Diffusion Language Models: Limits Today, Potential Tomorrow [30.201913054064363]
  Masked Diffusion Language Modelsは並列トークン生成と任意の順序復号を約束する。 並列性強度と生成順序の2次元に沿ってMDLMの挙動を特徴付ける。 我々は、知識、推論、プログラミングにまたがる58のベンチマークで8つのメインストリームMDLMを評価した。
  論文  参考訳（メタデータ） (2026-01-22T02:39:36Z)
• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Think Big, Generate Quick: LLM-to-SLM for Fast Autoregressive Decoding [15.723047976314751]
  大規模言語モデル(LLM)は、実際にはユビキタスなものとなり、翻訳、要約、命令の追従といった生成タスクに広く利用されている。 本稿では,異なるサイズの言語モデルを組み合わせて,自己回帰復号化の効率を高めるハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。