論文の概要: Parallel Language Models via Variational Decoding

• arxiv url: http://arxiv.org/abs/2610.26693v1
• Date: Mon, 19 Oct 2026 16:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:51:42.531913
• Title: Parallel Language Models via Variational Decoding
• Title（参考訳）: 変分復号による並列言語モデル
• Abstract要約: 並列言語モデル(Parallel Language Models)を導入し、1つのフォワードパスで相互に一貫したトークンを生成する。 PLMは、自動回帰損失と並列復号損失に還元される変動境界を用いて訓練される。 ポストトレーニングされた場合、我々の1.3Bモデルは、数学、コーディング、命令追従ベンチマークにおいて同一に訓練された自己回帰モデルと一致または超えます。
• 参考スコア（独自算出の注目度）: 23.84819562683403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models emit one token per forward pass. This causes high inference latency, in particular as models are scaled up for quality. In this paper, we introduce Parallel Language Models (PLMs), which generate mutually consistent tokens in one forward pass by routing dependencies through latent auxiliary variables. PLMs are trained using a variational bound that reduces to an autoregressive loss plus a parallel decoding loss. Empirically, PLMs are on a faster and better Pareto frontier than autoregressive and discrete diffusion baselines. Pretrained PLMs achieve near-autoregressive pretraining loss on model scales of 80M to 3B parameters, and speedup follows a power law in model size. When post-trained, our 1.3B model matches or exceeds an identically trained autoregressive model on math, coding, and instruction-following benchmarks, speeding up inference $2.3\text{-}5.7\times$. Together, we show that parallel generation can be trained from a single training objective at autoregressive quality. We will make our code available at https://github.com/mandt-lab/plm.
• Abstract（参考訳）: 自動回帰言語モデルはフォワードパス毎に1つのトークンを出力する。 これは、特にモデルが品質のためにスケールアップされるときに、高い推論遅延を引き起こす。 本稿では, 並列言語モデル (PLM) を導入し, 遅延補助変数をルーティングすることで, 相互に一貫したトークンを1つの前方通過で生成する。 PLMは、自動回帰損失と並列復号損失に還元される変動境界を用いて訓練される。 経験的に、PLMは自己回帰的、離散的拡散ベースラインよりも速く、より優れたパレートフロンティアにある。 事前学習されたPLMは80Mから3Bパラメータのモデルスケールでほぼ自己回帰的な事前学習損失を達成し、スピードアップはモデルサイズにおけるパワー則に従う。 トレーニング後、我々の1.3Bモデルは数学、コーディング、命令追従ベンチマークで同じ訓練を受けた自己回帰モデルと一致し、推論を2.3\text{-}5.7\times$.3\text{-}5.7\times$に高速化する。 同時に、並列生成は自己回帰的品質で1つの訓練目標から訓練できることを示す。 コードはhttps://github.com/mandt-lab/plm.comで公開します。

関連論文リスト

• PIG: Parallel Inconsistency Guidance for Accelerating Diffusion Language Models [27.176719130764155]
  拡散言語モデルは前方通過毎に複数のマスキング位置を復号することで生成を加速する。 並列デコード トラジェクタが シーケンシャルな トラジェクタから逸脱すると 精度が低下する 本稿では、訓練された補助モデルを用いて、1つのモデルフォワードパスから並列およびシーケンシャルジェネレーション間の不整合を直接推定する新しいパラダイムである並列不整合誘導(PIG)を提案する。
  論文  参考訳（メタデータ） (2026-10-12T20:33:53Z)
• Unlocking Lossless Speedups in LLMs via Discrete Diffusion [67.4336730000437]
  大規模言語モデル(LLM)は、その成功の大部分は、次世代の予測(NTP)に負っている。 本稿では,ARモデル分布を定義する新しいモデルのクラスである拡散拡張LDMを紹介する。 我々はこれらのモデルのパラメータを2つのセットに分割する: AR重み、標準NTP目標を用いたトレーニング、軽量拡散重み、同時に複数のトークンを生成する訓練。
  論文  参考訳（メタデータ） (2026-09-03T15:48:43Z)
• Fast and Accurate Causal Parallel Decoding using Jacobi Forcing [41.89066334075016]
  Jacobi Forcingはプログレッシブ蒸留パラダイムであり、モデルが独自の並列復号軌道で訓練される。 我々は,複数ブロックの復号化とリジェクション・リサイクリングを導入し,最大4.5倍高いトークン受入数と4.0倍のウォールクロック・スピードアップを実現した。
  論文  参考訳（メタデータ） (2025-12-16T18:45:18Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。