論文の概要: SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

• arxiv url: http://arxiv.org/abs/2609.24847v1
• Date: Mon, 21 Sep 2026 16:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.015792
• Title: SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture
• Title（参考訳）: SPECTRA:実行時再構成可能な階層アーキテクチャにおける投機的デコーディングの適応的実行
• Abstract要約: エッジデバイス上のLLM推論は、計算資源とメモリリソースによって制約される。 我々は、完全な投機的デコードパイプライン全体にわたって高い利用率を維持するランタイム再構成可能なタイル付きアーキテクチャであるSPECTRAを提案する。
• 参考スコア（独自算出の注目度）: 2.2758671443400007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM inference on edge devices is constrained by computational and memory resources, making efficient autoregressive decoding challenging. Speculative decoding alleviates this bottleneck by generating tokens with a smaller draft model and verifying multiple tokens in parallel with a batched target model pass. However, verification introduces a runtime-dependent intermediate regime between memory-bound general matrix-vector (GEMV) operations in decoding and compute-bound general matrix-matrix (GEMM) operations in prefill, as its arithmetic intensity varies with speculation length and acceptance rate. We present SPECTRA, a runtime-reconfigurable tiled architecture that sustains high utilization across the full speculative decoding pipeline. Within each tile, the compute engine switches between systolic execution for GEMMs and vector-lane execution for GEMVs. Across tiles, SPECTRA dynamically adapts computation parallelism by selecting tile count, kernel partitioning, and communication pattern. Both tile-level and system-level reconfiguration operate on a per-kernel basis, enabling efficient execution across these diverse regimes. Evaluated on a 20-tile FPGA prototype across the Pythia, SmolLM2, and GPT-2 families, SPECTRA achieves up to $2.09\times$ speedup from tile-level reconfiguration and a further $1.25\times$ gain from system-level adaptability over fixed designs.
• Abstract（参考訳）: エッジデバイス上のLLM推論は計算資源とメモリ資源によって制約され、効率的な自己回帰復号化が困難になる。 投機的復号化は、より小さなドラフトモデルでトークンを生成し、バッチされたターゲットモデルパスと並行して複数のトークンを検証することで、このボトルネックを軽減する。 しかしながら、検証では、メモリバウンドの一般行列ベクトル(GEMV)演算とプリフィルの計算バウンドの一般行列ベクトル(GEMM)演算の間には、演算強度が投機長や受入率によって変化するため、実行時依存の中間状態が導入された。 我々は、完全な投機的デコードパイプライン全体にわたって高い利用率を維持するランタイム再構成可能なタイル付きアーキテクチャであるSPECTRAを提案する。 各タイル内において、計算エンジンはGEMMのシストリック実行とGEMVのベクターレーン実行を切り替える。 タイル全体にわたって、SPECTRAはタイル数、カーネル分割、通信パターンを選択することで計算並列化を動的に適用する。 タイルレベルとシステムレベルのリコンフィグレーションはカーネル単位で動作し、これらの多様なレシフィケーション間で効率的な実行を可能にする。 SPECTRAは、Pythia、SmolLM2、GPT-2ファミリにまたがる20タイルFPGAのプロトタイプで評価され、タイルレベルの再構成から最大2.09\times$のスピードアップと、固定設計に対するシステムレベルの適応性からさらに1.25\times$のゲインを達成している。

関連論文リスト

• ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs [48.87461975674182]
  マルチモーダル大言語モデルのための並列ビジョンランゲージ(ParVL)スケーリングフレームワークについて紹介する。 ParVLは、既存のViTとLLMのバックボーンパラメータを複数のビジョンと言語ブランチで再利用することで、並列計算をスケールする。 また,ParVLは,シングルブランチベースラインよりも総合的なマルチモーダル性能を向上することを示す。
  論文  参考訳（メタデータ） (2026-08-04T17:59:58Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling [0.0]
  Gated Associative Memory (GAM) ネットワークは、シーケンスモデリングのための新しい完全に並列なアーキテクチャである。 我々はGAMをゼロから実装し、標準的なトランスフォーマーモデルと現代的な線形時間ベースラインに対して厳密な比較分析を行う。 我々の実験は、GAMは一貫して高速で、トレーニング速度のベースラインの両方を上回り、全てのデータセットで優れた、または競争力のある最終バリデーションの難しさを達成できることを示した。
  論文  参考訳（メタデータ） (2025-08-30T20:59:46Z)
• ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs [34.477777651648914]
  大規模言語モデル(LLM)は、自動回帰デコードパラダイムのため、推論遅延の大きな問題を生じさせる。 本稿では、並列化可能なデータの自動構築と効率的な並列化機構の2つの課題に対処する適応シリアル-パラレルデコーディング(ASPD)を提案する。 我々のフレームワークは、効率的なLCM並列推論のための基盤となるベンチマークを設定し、AIによるカスタマーサービスボットや回答検索エンジンのようなレイテンシに敏感なアプリケーションへのデプロイの道を開く。
  論文  参考訳（メタデータ） (2025-08-12T12:35:55Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• PAPI: Exploiting Dynamic Parallelism in Large Language Model Decoding with a Processing-In-Memory-Enabled Computing System [13.678531084541666]
  PAPI は PIM 対応のヘテロジニアスアーキテクチャで,計算バウンドカーネルやメモリバウンドカーネルを適切なハードウェアユニットに動的にスケジューリングする。 PAPIは最先端の異種加速器と最先端のPIM専用加速器で1.8$times$と11.1$times$を達成している。
  論文  参考訳（メタデータ） (2025-02-21T13:52:31Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。