論文の概要: CopyLoop: Fast Looped Transformer Decoding via Context Copying and Shallow Screening

• arxiv url: http://arxiv.org/abs/2610.38822v1
• Date: Wed, 28 Oct 2026 20:16:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.00267
• Title: CopyLoop: Fast Looped Transformer Decoding via Context Copying and Shallow Screening
• Title（参考訳）: CopyLoop:コンテキストコピーと浅層スクリーニングによる高速ループ変換器デコード
• Abstract要約: ループ変換器は共有ブロックの繰り返し適用により計算能力を向上させるが、その再帰深さは従来の完全深度復号法を高価にする。 CopyLoopは、コストの低いコンテキストコピー提案と浅いスクリーニングと連続的な繰り返しスケジューリングを組み合わせた、トレーニング不要の復号アルゴリズムである。
• 参考スコア（独自算出の注目度）: 14.556758955830796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers increase computational capacity through the repeated application of shared blocks, but their recurrent depth makes conventional full-depth decoding expensive. While existing speculative pipelines accelerate generation by processing consecutive token positions at varying depths, they are typically limited by sequential decoding overheads. We introduce CopyLoop, a training-free decoding algorithm that combines low-cost context-copy proposals with shallow screening and continuous recurrent scheduling. Rather than step-by-step generation, CopyLoop proposes multi-token suffixes from repeated context. It then evaluates them early at a shallow recurrent depth to efficiently filter out incorrect branches, processing newer blocks concurrently while earlier blocks are still progressing toward full-depth verification. We evaluate CopyLoop across six model checkpoints from the Ouro, Raven, and Huginn families, covering code generation and multi-step mathematical reasoning. CopyLoop achieves decoding speedups of 2.98x--10.70x over full-depth autoregressive decoding on Base models and 2.74x--3.52x on Thinking models, consistently outperforming or closely matching all competing baselines across evaluation tasks. Furthermore, ablation studies confirm a strong synergy between shallow screening and continuous scheduling, while our analyses show that CopyLoop requires only lightweight model calibration and yields greater speedups on longer generations with reusable contexts.
• Abstract（参考訳）: ループ変換器は共有ブロックの繰り返し適用により計算能力を向上させるが、その再帰深さは従来の完全深度復号法を高価にする。 既存の投機的パイプラインは、様々な深さで連続するトークンの位置を処理することによって生成を加速するが、典型的にはシーケンシャルな復号オーバーヘッドによって制限される。 CopyLoopは、コストの低いコンテキストコピー提案と浅いスクリーニングと連続的な繰り返しスケジューリングを組み合わせた、トレーニング不要の復号アルゴリズムである。 CopyLoopはステップバイステップ生成ではなく、繰り返しコンテキストからマルチトークンサフィックスを提案する。 その後、浅い再帰深さでそれらを早期に評価し、不正な分岐を効率よくフィルタリングし、より新しいブロックを同時に処理する。 We evaluate CopyLoop across six model checkpoints from the Ouro, Raven, and Huginn family, including code generation and multi-step mathematical reasoning。 CopyLoopはベースモデルで2.98x--10.70x、Thinkingモデルで2.74x--3.52xでデコード速度を2.98x--10.70xで達成し、評価タスクで競合するすべてのベースラインを一貫して上回り、密に一致させる。 さらに、アブレーション研究は、浅層スクリーニングと連続スケジューリングの強い相乗効果を裏付ける一方、我々の分析では、CopyLoopは軽量なモデルキャリブレーションしか必要とせず、再利用可能なコンテキストで、より長い世代でより高速なスピードアップが得られることを示した。

関連論文リスト

• Asymmetric Looped Transformers: Fixed Global Representations for an Iterative Decoder [43.61337405456846]
  AsymLoop (Asymmetric Looped Transformer) を導入し, コンテクストエンコーディングとリカレントステートリファインメントを分離する。 AsymLoopは7つのコモンセンス推論ベンチマークの平均ゼロショット精度を49.58%から50.85%に改善している。
  論文  参考訳（メタデータ） (2026-10-20T16:36:33Z)
• LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models [33.15244718105284]
  Looped Transformerは、同じTransformerレイヤを繰り返し適用することで、パラメータ効率を向上させる。 近年のパイプライン型自己投機的復号法では,早期ループ予測からのトークンの起草による遅延を低減している。 ループ変換器の投機的復号化フレームワークである Method を導入する。
  論文  参考訳（メタデータ） (2026-10-15T09:38:11Z)
• Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers [51.96830872563455]
  Looped Transformerは、再帰的な深さにわたって共有ブロックを再利用し、自動回帰デコーディングを高価にする。 自己投機的デコーダは、早期の深さでドラフトし、完全な深さで検証することで、このコストを削減する。 本稿では,Depth-Asynchronous Self-Speculation (DAS)を導入し,検証された表現の深さからドラフト計算の深さを分離する。
  論文  参考訳（メタデータ） (2026-09-28T08:04:19Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。