論文の概要: SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation
- arxiv url: http://arxiv.org/abs/2603.18599v1
- Date: Thu, 19 Mar 2026 08:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.025795
- Title: SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation
- Title(参考訳): SJD-PAC: プロアクティブドラフトと適応継続による投機的ヤコビ復号の高速化
- Authors: Jialiang Kang, Han Shu, Wenshuo Li, Yingjie Zhai, Xinghao Chen,
- Abstract要約: Speculative Jacobi Decoding (SJD) は、自動回帰テキスト-画像合成を高速化するためのドラフトモデルなしのアプローチを提供する。
SJD-PACは、高エントロピー領域に挑戦する地域の受容率を改善するために、積極的な起草戦略を採用している。
標準のテキスト・ツー・イメージベンチマークの実験では、SJD-PACは損失のない画質で3.8倍のスピードアップを達成した。
- 参考スコア(独自算出の注目度): 13.295759874474767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative Jacobi Decoding (SJD) offers a draft-model-free approach to accelerate autoregressive text-to-image synthesis. However, the high-entropy nature of visual generation yields low draft-token acceptance rates in complex regions, creating a bottleneck that severely limits overall throughput. To overcome this, we introduce SJD-PAC, an enhanced SJD framework. First, SJD-PAC employs a proactive drafting strategy to improve local acceptance rates in these challenging high-entropy regions. Second, we introduce an adaptive continuation mechanism that sustains sequence validation after an initial rejection, bypassing the need for full resampling. Working in tandem, these optimizations significantly increase the average acceptance length per step, boosting inference speed while strictly preserving the target distribution. Experiments on standard text-to-image benchmarks demonstrate that SJD-PAC achieves a $3.8\times$ speedup with lossless image quality.
- Abstract(参考訳): Speculative Jacobi Decoding (SJD) は、自動回帰テキスト-画像合成を高速化するためのドラフトモデルなしのアプローチを提供する。
しかし、視覚生成の高エントロピーの性質は、複雑な領域でのドラフトトケン受け入れ率を低くし、全体的なスループットを著しく制限するボトルネックを生み出します。
これを解決するために,拡張SJDフレームワークであるSJD-PACを紹介する。
第一に、SJD-PACは、これらの挑戦的な高エントロピー領域における局所受容率を改善するために、積極的な起草戦略を採用している。
第2に,完全再サンプリングの必要性を回避し,初期拒否後のシーケンス検証を継続する適応的継続機構を導入する。
タンデムで作業することで、これらの最適化はステップ当たりの平均受入時間を大幅に増加させ、ターゲット分布を厳密に保ちながら推論速度を向上する。
標準のテキスト・ツー・イメージベンチマークの実験では、SJD-PACは損失のない画質で3.8\times$のスピードアップを達成した。
関連論文リスト
- PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である
軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。
以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
論文 参考訳(メタデータ) (2026-02-01T15:12:38Z) - Multi-Scale Local Speculative Decoding for Image Generation [10.239314110594249]
マルチスケールローカル投機復号(MuLo-SD)を導入する。
MuLo-SDは、多重解像度のドラフトと空間情報による検証を組み合わせることで、AR画像生成を高速化する。
我々は MuLo-SD が $mathbf1.7times$ までの大幅な高速化を実現することを示した。
論文 参考訳(メタデータ) (2026-01-08T17:39:35Z) - SJD++: Improved Speculative Jacobi Decoding for Training-free Acceleration of Discrete Auto-regressive Text-to-Image Generation [92.34355601866629]
大規模な自己回帰モデルは高品質で高解像度の画像を生成することができるが、生成速度が遅い。
本稿では,SJD++ (Speculative Jacobi Decoding++) を提案する。
SJD++は、各フォワードパスでマルチトークン予測を実行し、生成ステップを大幅に削減する。
論文 参考訳(メタデータ) (2025-12-08T12:36:43Z) - MC-SJD : Maximal Coupling Speculative Jacobi Decoding for Autoregressive Visual Generation Acceleration [14.582793306013615]
我々は,AR視覚生成を高速化する訓練不要並列デコーディングフレームワークMC-SJDを提案する。
MC-SJDは、同一のドラフトトークンをサンプリングする確率を最大化することにより、標準投機的ヤコビ復号(SJD)を大幅に加速することを示す。
注目すべきは、この手法は既存のアルゴリズムに1行の修正しか必要としないが、性能は大幅に向上するということである。
論文 参考訳(メタデータ) (2025-10-28T09:26:27Z) - Rebalancing Contrastive Alignment with Bottlenecked Semantic Increments in Text-Video Retrieval [48.85977777168096]
Gap-Aware Retrievalフレームワークは、テキスト$t_i$とビデオ$v_j$の間で、学習可能なペア固有のインクリメント$Delta_ij$を導入している。
セマンティックギャップに条件付けされた軽量なニューラルモジュールは、構造認識の修正のためにバッチ間で増分する。
4つのベンチマークの実験は、GAREが一貫してアライメント精度とロバスト性を改善することを示した。
論文 参考訳(メタデータ) (2025-05-18T17:18:06Z) - Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding [60.188309982690335]
本稿では,SJD (Speculative Jacobi Decoding) の学習自由確率並列復号法を提案する。
SJDは、サンプリングベースのトークン復号におけるランダム性を維持しつつ、自動回帰テキスト・画像生成の推論を加速する。
具体的には、SJDは各ステップで複数のトークンを予測し、確率的基準に基づいてトークンを受け付けます。
論文 参考訳(メタデータ) (2024-10-02T16:05:27Z) - Cascade Reward Sampling for Efficient Decoding-Time Alignment [17.278488115500615]
復号時間アライメントにおける効率の両立を図るためにカスケード逆サンプリング(CARDS)を導入する。
CARDSは、大きな言語モデル(LLM)と報酬モデル(RM)の両方の冗長な計算を最小化する
論文 参考訳(メタデータ) (2024-06-24T04:08:35Z) - Semi-Autoregressive Image Captioning [153.9658053662605]
画像キャプションに対する現在の最先端のアプローチは、通常自己回帰的手法を採用する。
連続的反復改善による非自己回帰画像キャプションは、かなりの加速を伴う自己回帰画像キャプションに匹敵する性能が得られる。
本稿では,性能と速度のトレードオフを改善するために,SAIC(Semi-Autoregressive Image Captioning)と呼ばれる新しい2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-11T15:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。