論文の概要: Secure Speculative Decoding for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.08678v1
• Date: Tue, 06 Oct 2026 16:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.134155
• Title: Secure Speculative Decoding for Large Language Models
• Title（参考訳）: 大規模言語モデルに対するセキュアな投機的復号法
• Abstract要約: 投機的復号化は大規模言語モデル(LLM)の推論を加速する そこで我々はSecureSDを提案する。SecureSDは、効率と実用性を維持しつつセキュリティを高めるための理論誘導型投機復号法である。
• 参考スコア（独自算出の注目度）: 14.146295681158938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates inference for a large language model (LLM), referred to as the \emph{target model}, by first using a smaller model, referred to as the \emph{draft model}, to generate candidate tokens and then verifying them with the target model for acceptance or rejection. Prior studies primarily focused on the efficiency-utility trade-off of speculative decoding, e.g., lossy speculative decoding, leaving its security implications largely unexplored. In this work, we bridge this gap by providing the \emph{first} systematic study of the security implications of speculative decoding. Through a large-scale measurement study, we reveal a pronounced security-utility asymmetry: across a wide range of lossy speculative decoding methods, improvements in inference efficiency come at a disproportionately high cost to security, with attack success rates for jailbreak and prompt injection attacks increasing much faster than utility degrades. We then propose SecureSD, a new theory-guided speculative decoding method that enhances security while maintaining efficiency and utility. Specifically, our theoretical analysis reveals that security degradation primarily originates from the early tokens generated by the draft model. Motivated by this insight, SecureSD applies a stricter verification criterion to draft-model tokens at early decoding positions. Extensive experiments on both security and utility benchmarks demonstrate that SecureSD significantly improves security while preserving efficiency and utility compared to existing speculative decoding methods.
• Abstract（参考訳）: 投機的復号化は、大言語モデル(LLM)の推論を加速し、まずは、より小さなモデルである \emph{draft model} を使用して、候補トークンを生成し、ターゲットモデルで受け入れや拒絶を行う。 以前の研究では、投機的復号法(例えば、投機的復号法)の効率性と実用性のトレードオフに主に焦点が当てられていた。 本研究では,このギャップを,投機的復号化のセキュリティへの影響を系統的に研究することによって埋める。 大規模な測定結果から,幅広い損失のある投機的復号法,推論効率の向上,セキュリティへの不均等な高コスト化,ジェイルブレイクの攻撃成功率,インジェクション攻撃の迅速化など,セキュリティユーティリティ非対称性が明らかとなった。 そこで,我々はSecureSDを提案する。SecureSDは,効率と実用性を維持しつつ,セキュリティを向上する理論誘導型投機復号法である。 具体的には,セキュリティの劣化は,ドラフトモデルが生成した初期トークンに起因していることを示す。 この洞察に触発されたSecureSDは、初期復号位置のドラフトモデルトークンに対してより厳格な検証基準を適用している。 セキュリティとユーティリティのベンチマークに関する大規模な実験は、SecureSDが既存の投機的復号法と比較して効率とユーティリティを保ちながら、セキュリティを著しく改善していることを示している。

関連論文リスト

• Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge [58.89692997625976]
  既存のデコードステージの防御には2つの制限がある。 彼らは、安全性と過剰な拒絶の間のトレードオフを導入し、安全を強化することで、良質なクエリに対するモデルの利便性を低下させる。 ダークナレッジから有害クエリと良性クエリを対比して抽出した潜時安全信号を利用するLADEを導入する。
  論文  参考訳（メタデータ） (2026-10-05T23:59:28Z)
• SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
  RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。 しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。 我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:29:11Z)
• Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning [58.331709210563616]
  サブトラクションによる思考は、信頼主導のコントラスト的デコーディングアプローチである。 低信頼トークンの小さなサブセットは、誤りの推論と不要な出力拡大に不当に寄与する。 信頼駆動型コントラストデコーディング(Confidence-Driven Contrastive Decoding)は,デコーディング中の低信頼トークンを検出し,それらの位置で介入する。
  論文  参考訳（メタデータ） (2026-02-20T14:13:22Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• One Trigger Token Is Enough: A Defense Strategy for Balancing Safety and Usability in Large Language Models [20.42976162135529]
  大規模言語モデル(LLM)は、仮想アシスタント、自動コード生成、科学研究など、さまざまな領域で広く使われている。 我々は,与えられた安全対応LLMの安全トリガトークンを識別し,明示的に復号する,シンプルで効果的な防衛アルゴリズムであるtextttD-STT を提案する。
  論文  参考訳（メタデータ） (2025-05-12T01:26:50Z)
• Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
  本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。 CPOは、与えられた対話の安全性に対するモデルの認識を高める。 実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T15:48:46Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。