論文の概要: Speedbumps: Rejection Attacks on Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.10929v1
• Date: Wed, 07 Oct 2026 21:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.678796
• Title: Speedbumps: Rejection Attacks on Speculative Decoding
• Title（参考訳）: Speedbumps: 投機的デコードに対する拒絶攻撃
• Abstract要約: 我々は、投機的拒絶攻撃(SRA)について研究する。これは、ドラフトモデルとターゲットモデルがより頻繁に一致しない攻撃のクラスである。 これにより、生成されたトークン毎に必要となるターゲットモデル転送が増加し、推論が遅くなり、被害者のコストが増大する。 攻撃者が制御するコンテンツに敵の接尾辞を付加する2つのアタックを導入し、被害者のプロンプトの投機的復号を劣化させる。
• 参考スコア（独自算出の注目度）: 4.583780196616783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding is a popular technique for increasing the speed and reducing the costs of large language model (LLM) inference by verifying multiple draft tokens in a single target-model forward pass. The resulting benefit depends on the ability of the drafter to approximate the target model's distribution. In this work, we study Speculative Rejection Attacks (SRAs), a novel class of attacks that cause draft and target models to disagree more often, resulting in fewer draft tokens being accepted per draft cycle. This leads to more target model forward passes needed per generated token, slowing down inference and increasing costs for the victim. We introduce two attacks which append an adversarial suffix to attacker-controlled content to degrade speculative decoding on a victim's prompts. Both attacks optimise the expected length of the accepted speculative prefix, estimating per-depth acceptance from the target's probability of the drafted proposals (Speedbump-P) or from the overlap between the draft and target distributions (Speedbump-D). In some cases, attacks degrade speculative decoding to the point of being slower than autoregressive decoding. The degradation reduces the output quality - regularisation restores output quality but gives up most of the degradation, trading effectiveness for stealthiness. Additionally, the suffixes remain effective under sampling, and transfer across drafters (Speedbump-P) or across target models sharing a drafter (Speedbump-D). These findings identify the draft-target interaction of speculative decoding as a realistic attack surface through which adversarial inputs can inflate inference costs.
• Abstract（参考訳）: 投機的復号化は、1つのターゲットモデルフォワードパスで複数のドラフトトークンを検証することで,大規模言語モデル(LLM)推論の高速化とコスト削減に有効な手法である。 結果として得られる利点は、ドラフト作成者がターゲットモデルの分布を近似する能力に依存する。 本研究では,投機的リジェクション攻撃(SRA)について検討し,投機的リジェクション攻撃(SRA)について検討した。 これにより、生成されたトークン毎に必要となるターゲットモデル転送が増加し、推論が遅くなり、被害者のコストが増大する。 本稿では,攻撃者が制御するコンテンツに敵の接尾辞を付加する2つの攻撃を導入し,被害者のプロンプトの投機的復号を劣化させる。 どちらの攻撃も、承認された投機的プレフィックスの期待される長さを最適化し、ドラフトされた提案(Speedbump-P)のターゲットの確率から、あるいはドラフトとターゲットのディストリビューション(Speedbump-D)の重複から、詳細な受け入れを推定する。 場合によっては、攻撃は投機的復号化を自己回帰的復号化よりも遅くする。 この劣化は出力品質を低下させる - 正規化は出力品質を回復するが、ほとんどの劣化、取引効率をステルス性のために放棄する。 さらに、接尾辞はサンプリング中も有効であり、ドラフトラ(Speedbump-P)や、ドラフトラを共有するターゲットモデル(Speedbump-D)間で転送される。 これらの結果から、投機的復号化の草稿的相互作用は、逆入力が推論コストを増大させる現実的な攻撃面であることがわかった。

関連論文リスト

• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• Beyond the Target: From Imitation to Collaboration in Speculative Decoding [23.603110768087973]
  投機的復号(SPD)は、より小さなドラフトモデルに、より大きなターゲットモデルによって並列に検証される複数の将来のトークンを提案することによって、大きな言語モデル(LLM)推論を加速させる。 支配的なSPDパラダイムは、ターゲットモデルを唯一信頼できる教師として扱い、ターゲット予測と正確に一致する場合にのみドラフトトークンを受け入れる。 我々は、SPDの一般化である textbfCollaborative Decoding (CoSpec) を導入し、ターゲットモデルを唯一のトークンレベルの権威として扱わなくなった。
  論文  参考訳（メタデータ） (2026-05-24T00:34:53Z)
• Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding [47.771248673145614]
  投機的復号化は大規模言語モデル(LLM)推論を高速化する手法として広く採用されている。 モデルに基づく投機的復号化における新しいメカニズムレベルの脆弱性を同定する。 提案するMistletoeは、投機的復号化に対するステルス的な加速・崩壊攻撃である。
  論文  参考訳（メタデータ） (2026-05-13T18:11:42Z)
• PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である 軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。 以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-01T15:12:38Z)
• Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference [11.957170239588535]
  投機的復号化は、ドラフトモデルを使用して推測を加速する。 事前の方法は、ドラフトコストを部分的に削減するが、受け入れを低下させるか、スケーリングを制限するオーバーヘッドを導入する。 本稿では,遅延受容トレードオフを破る推論アルゴリズムであるMirror Speculative Decoding(Mirror-SD)を提案する。
  論文  参考訳（メタデータ） (2025-10-15T05:22:57Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。