論文の概要: Dual-Slot: From Serial Loops to Parallel Slots in Language Models

• arxiv url: http://arxiv.org/abs/2610.25086v1
• Date: Sun, 18 Oct 2026 07:48:29 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:36:57.737024
• Title: Dual-Slot: From Serial Loops to Parallel Slots in Language Models
• Title（参考訳）: デュアルスロット:言語モデルにおけるシリアルループから並列スロットへ
• Abstract要約: 並列遅延と予測スロットにシリアルループ計算を再編成するアーキテクチャであるDual-Slotを導入する。 予測スロットは、現在のトークンの潜時計算が終了するのを待つのではなく、前のトークンの深い潜時状態と現在の表現を結合する。 Qwen-style dense and mixed-of-experts (MoE)モデルの実験では、言語モデリングと平均下流精度が一貫した改善を示した。
• 参考スコア（独自算出の注目度）: 17.52320893468073
• License:
• Abstract: Looped language models increase computational depth by repeatedly applying shared layers, offering a way to improve model quality without adding parameters. However, sequential dependencies between loop iterations increase autoregressive decoding latency. We introduce Dual-Slot, an architecture that reorganizes serial looped computation into parallel latent and prediction slots. Rather than waiting for the current token's latent computation to finish, the prediction slot combines the previous token's deep latent state with the current representation, while the latent slot produces a state for the next decoding step. This shifts the latent dependency across adjacent tokens, replacing two sequential module invocations with a single paired invocation while preserving standard autoregressive generation. To preserve token-level parallelism during training, we use a small number of Jacobi iterations to refine latent states across the sequence in parallel. Experiments on Qwen-style dense and mixture-of-experts (MoE) models show consistent improvements in language modeling and average downstream accuracy. On the 1B dense model, Dual-Slot reduces Pile validation perplexity from 7.25 to 7.00 and improves average five-shot accuracy across nine task configurations by 2.26 percentage points. After supervised fine-tuning, it improves zero-shot GSM8K accuracy by 5.83 and 3.49 percentage points for the 1B dense and A0.6B MoE models, respectively. Across the evaluated batch sizes, Dual-Slot retains 93.1-96.5% of vanilla decoding throughput for the dense model and 98.1-99.6% for the MoE model.
• Abstract（参考訳）: ループ言語モデルは、共有レイヤを繰り返し適用することで計算深度を高め、パラメータを追加することなくモデル品質を改善する方法を提供する。 しかしながら、ループイテレーション間のシーケンシャルな依存関係は、自動回帰デコーディングの遅延を増大させる。 並列遅延と予測スロットにシリアルループ計算を再編成するアーキテクチャであるDual-Slotを導入する。 予測スロットは、現在のトークンの潜時計算が終了するのを待つのではなく、前のトークンの深い潜時状態と現在の表現を結合し、潜時スロットは次の復号ステップの状態を生成します。 これにより、遅延依存性を隣接するトークンに移行し、2つのシーケンシャルモジュール呼び出しを単一のペアの呼び出しに置き換え、標準の自己回帰生成を保存する。 トレーニング中にトークンレベルの並列性を維持するために、少数のヤコビ反復を用いて、列にまたがる潜在状態を並列に洗練する。 Qwen-style dense and mixed-of-experts (MoE)モデルの実験では、言語モデリングと平均下流精度が一貫した改善を示した。 1B密度モデルでは、Dual-Slotはパイル検証の難易度を7.25から7.00に削減し、9つのタスク構成の平均5ショット精度を2.26ポイント改善する。 調整後、0ショットのGSM8K精度を5.83ポイント、A0.6BのMoEモデルで3.49ポイント向上させる。 評価されたバッチサイズ全体で、Dual-Slotは高密度モデルのバニラ復号スループットの93.1-96.5%、MoEモデルの98.1-99.6%を維持している。

関連論文リスト

• Closing the Loop: Practical Training Recipes for Looped Language Models [0.6911410576481534]
  ループ言語モデルは、レイヤの共有ブロックを繰り返し適用することで、効果的な深さを増大させる。 既存の大規模なレシピでは、何兆ものトークンを多段階で訓練する必要がある。 ループ型言語モデルの実践的なトレーニングレシピを構築し,3つの主要な結果を得た。
  論文  参考訳（メタデータ） (2026-09-30T20:09:58Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Kaczmarz Linear Attention [11.650692583508663]
  リニアリカレントモデルはコンテキストを固定サイズの状態に圧縮し、情報を忘れ、書き、編集するルールを中心的な設計問題とする。 Gated DeltaNet (GDN) は、ゲート状態崩壊とデルタルール残差書き込みを結合し、学習可能な係数を用いて、忘れと更新の規模をバランスさせる。 状態形状,ゲート,リニアリカレンス,チャンクワイズ並列アルゴリズムを保存するGDNの1スカラー修正であるKaczmarz Linear (KLA)を提案する。
  論文  参考訳（メタデータ） (2026-05-09T01:07:01Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States [28.663951525871756]
  本稿では、Latent Refinement Decoding (LRD) と予測フィードバックループを備えた2段階のフレームワークについて紹介する。 LRDは最大10.6倍のスピードアップを提供しながら精度を向上し、並列シーケンス生成の強力な代替手段となる。
  論文  参考訳（メタデータ） (2025-10-13T06:38:13Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。