論文の概要: Privacy Risks of Speculative Decoding in Large Language Models

• arxiv url: http://arxiv.org/abs/2411.01076v2
• Date: Tue, 05 Nov 2024 15:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:43.580898
• Title: Privacy Risks of Speculative Decoding in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける投機的復号化のプライバシーリスク
• Authors: Jiankun Wei, Abdulrahman Abdulrazzag, Tianchen Zhang, Adel Muursepp, Gururaj Saileshwar,
• Abstract要約: 大規模言語モデル(LLM)における投機的復号化は、投機的に複数のトークンを安価に予測し、それらを並列に検証することでトークン生成を加速する。 正誤予測の入力依存パターンを逆監視トークン生成時間とパケットサイズに漏洩させることが観察された。 悪意のある相手が3つの異なる投機的復号法で、指紋検索やプライベートユーザ入力を90%以上の精度で学習できることが示される。
• 参考スコア（独自算出の注目度）: 2.869014888726965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding in large language models (LLMs) accelerates token generation by speculatively predicting multiple tokens cheaply and verifying them in parallel, and has been widely deployed. In this paper, we provide the first study demonstrating the privacy risks of speculative decoding. We observe that input-dependent patterns of correct and incorrect predictions can be leaked out to an adversary monitoring token generation times and packet sizes, leading to privacy breaches. By observing the pattern of correctly and incorrectly speculated tokens, we show that a malicious adversary can fingerprint queries and learn private user inputs with more than $90\%$ accuracy across three different speculative decoding techniques - REST (almost $100\%$ accuracy), LADE (up to $92\%$ accuracy), and BiLD (up to $95\%$ accuracy). We show that an adversary can also leak out confidential intellectual property used to design these techniques, such as data from data-stores used for prediction (in REST) at a rate of more than $25$ tokens per second, or even hyper-parameters used for prediction (in LADE). We also discuss mitigation strategies, such as aggregating tokens across multiple iterations and padding packets with additional bytes, to avoid such privacy or confidentiality breaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)における投機的復号化は、投機的に複数のトークンを安価に予測し、並列に検証することでトークン生成を加速し、広くデプロイされている。 本稿では、投機的復号化のプライバシーリスクを示す最初の研究について述べる。 正誤予測の入力依存パターンは、逆監視トークンの生成時間とパケットサイズに漏洩し、プライバシー侵害につながる。 不正かつ正しく推測されたトークンのパターンを観察することにより、悪意のある敵が指紋検索を行い、REST(ほぼ100\%の精度)、LADE(最大92\%の精度)、BiLD(最大9,5\%の精度)という3つの異なる投機的デコーディング技術で、90\%以上の精度でプライベートユーザ入力を学習できることを示す。 例えば、(RESTで)予測に使用されるデータストアのデータを毎秒25ドル以上のレートで、(LADEで)予測に使用されるハイパーパラメータなどです。 また、複数イテレーションにまたがるトークンの集約や追加バイトのパケットのパディングといった緩和戦略についても議論し、そのようなプライバシーや機密性侵害を避ける。

関連論文リスト

• Taint-Based Code Slicing for LLMs-based Malicious NPM Package Detection [2.398400814870029]
  本稿では,LLMをベースとした悪意あるパッケージ検出タスクにおいて,コードスライシング技術を活用する新しいフレームワークを提案する。 バックトラッキング機構によって強化されたnpmパッケージのためのテントベースの特殊スライシング手法を提案する。 5000以上の悪意のあるnpmパッケージのデータセットに対する評価は,我々のアプローチがセキュリティ関連コードを分離し,入力量を99%以上削減していることを示している。
  論文  参考訳（メタデータ） (2025-12-13T12:56:03Z)
• SWAP: Towards Copyright Auditing of Soft Prompts via Sequential Watermarking [58.475471437150674]
  ソフトプロンプト(SWAP)のための逐次透かしを提案する。 SWAPは、特定のディフェンダー指定のアウト・オブ・ディストリビューション・クラスを通じて、透かしを符号化する。 11のデータセットの実験では、SWAPの有効性、無害性、および潜在的適応攻撃に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2025-11-05T13:48:48Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• PromptCOS: Towards System Prompt Copyright Auditing for LLMs via Content-level Output Similarity [61.793486262641345]
  本稿では,コンテンツレベルの出力類似性に基づいたプロンプト著作権監査手法であるPromptCOSを提案する。 プロンプトを最適化し、特別な検証クエリとコンテントレベルの信号マークを同時に最適化することで、透かしを埋め込む。 PromptCOSは、著作権検証のために、疑わしい出力と信号マークの類似性を比較することによって、不正使用を識別する。
  論文  参考訳（メタデータ） (2025-09-03T08:19:40Z)
• Conformal Prediction for Privacy-Preserving Machine Learning [83.88591755871734]
  AESで暗号化されたMNISTデータセットの変種を用いて、暗号化されたドメインに直接適用しても、コンフォーマル予測法が有効であることを示す。 我々の研究は、安全でプライバシーに配慮した学習システムにおける原則的不確実性定量化の基礎を定めている。
  論文  参考訳（メタデータ） (2025-07-13T15:29:14Z)
• Detecting Hard-Coded Credentials in Software Repositories via LLMs [0.0]
  ソフトウェア開発者は、パスワード、ジェネリックシークレット、プライベートキー、ソフトウェアリポジトリのジェネリックトークンなどの認証情報をハードコードすることが多い。 これらの認証は、潜在的な敵によって悪用され、バックドア攻撃のような悪意ある攻撃を行うために攻撃面を生成する。 最近の検出では、埋め込みモデルを用いてテキスト認証をベクトル化し、予測のために分類器に渡す。 我々のモデルは、ベンチマークデータセットのF1測定値において、現在の最先端よりも13%優れています。
  論文  参考訳（メタデータ） (2025-06-16T04:33:48Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• Prompt, Divide, and Conquer: Bypassing Large Language Model Safety Filters via Segmented and Distributed Prompt Processing [1.4201040196058878]
  大規模言語モデル(LLM)はタスクの自動化とさまざまな領域にわたるコンテンツ生成を変革した。 本稿では,分散プロンプト処理と反復改良を組み合わせた新しいジェイルブレイク機構を導入し,安全性対策を回避した。 10のサイバーセキュリティカテゴリで500の悪意あるプロンプトでテストされたこのフレームワークは、悪意のあるコードを生成する上で73.2%の成功率(SR)を達成した。
  論文  参考訳（メタデータ） (2025-03-27T15:19:55Z)
• Judge Decoding: Faster Speculative Sampling Requires Going Beyond Model Alignment [25.988070517700848]
  自己回帰生成を高速化する手法として投機的復号法が提案されている。 GPT-4oのような強力なドラフトモデルであっても、人間のテキストは高い受け入れ率を達成できないことを示す。 私たちは、正しいが一致しない応答を認識するために、検証に適応できるだろうか?
  論文  参考訳（メタデータ） (2025-01-31T17:09:53Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Private prediction for large-scale synthetic text generation [28.488459921169905]
  大規模言語モデル(LLM)を用いた微分プライベートテキスト生成手法を提案する。 プライベートな予測フレームワークでは、差分プライバシー保証を満たすために出力された合成データのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-16T18:28:40Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Differentially Private Secure Multiplication: Hiding Information in the Rubble of Noise [7.767656876470667]
  プライベート分散マルチパーティ乗算の問題点を考察する。 Shamirの秘密共有コーディング戦略が、分散計算における完全な情報理論プライバシを実現することは、十分に確立されている。
  論文  参考訳（メタデータ） (2023-09-28T02:13:13Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Planting and Mitigating Memorized Content in Predictive-Text Language Models [11.911353678499008]
  言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-16T17:57:14Z)
• Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning [63.45532264721498]
  自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
  論文  参考訳（メタデータ） (2022-12-06T21:35:35Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)
• Detecting DeFi Securities Violations from Token Smart Contract Code [0.4263043028086136]
  DeFi(Decentralized Finance)は、さまざまなブロックチェーン上のスマートコントラクトを通じて構築および配信される金融製品とサービスのシステムである。 本研究の目的は、トークンのスマートコントラクトコードに基づいて、証券違反の可能性のあるDeFiプロジェクトを特定できるかどうかを明らかにすることである。
  論文  参考訳（メタデータ） (2021-12-06T01:44:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。