論文の概要: Privacy Risks of Speculative Decoding in Large Language Models

• arxiv url: http://arxiv.org/abs/2411.01076v2
• Date: Tue, 05 Nov 2024 15:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:02:16.538869
• Title: Privacy Risks of Speculative Decoding in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける投機的復号化のプライバシーリスク
• Authors: Jiankun Wei, Abdulrahman Abdulrazzag, Tianchen Zhang, Adel Muursepp, Gururaj Saileshwar,
• Abstract要約: 大規模言語モデル(LLM)における投機的復号化は、投機的に複数のトークンを安価に予測し、それらを並列に検証することでトークン生成を加速する。 正誤予測の入力依存パターンを逆監視トークン生成時間とパケットサイズに漏洩させることが観察された。 悪意のある相手が3つの異なる投機的復号法で、指紋検索やプライベートユーザ入力を90%以上の精度で学習できることが示される。
• 参考スコア（独自算出の注目度）: 2.869014888726965
• License:
• Abstract: Speculative decoding in large language models (LLMs) accelerates token generation by speculatively predicting multiple tokens cheaply and verifying them in parallel, and has been widely deployed. In this paper, we provide the first study demonstrating the privacy risks of speculative decoding. We observe that input-dependent patterns of correct and incorrect predictions can be leaked out to an adversary monitoring token generation times and packet sizes, leading to privacy breaches. By observing the pattern of correctly and incorrectly speculated tokens, we show that a malicious adversary can fingerprint queries and learn private user inputs with more than $90\%$ accuracy across three different speculative decoding techniques - REST (almost $100\%$ accuracy), LADE (up to $92\%$ accuracy), and BiLD (up to $95\%$ accuracy). We show that an adversary can also leak out confidential intellectual property used to design these techniques, such as data from data-stores used for prediction (in REST) at a rate of more than $25$ tokens per second, or even hyper-parameters used for prediction (in LADE). We also discuss mitigation strategies, such as aggregating tokens across multiple iterations and padding packets with additional bytes, to avoid such privacy or confidentiality breaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)における投機的復号化は、投機的に複数のトークンを安価に予測し、並列に検証することでトークン生成を加速し、広くデプロイされている。 本稿では、投機的復号化のプライバシーリスクを示す最初の研究について述べる。 正誤予測の入力依存パターンは、逆監視トークンの生成時間とパケットサイズに漏洩し、プライバシー侵害につながる。 不正かつ正しく推測されたトークンのパターンを観察することにより、悪意のある敵が指紋検索を行い、REST(ほぼ100\%の精度)、LADE(最大92\%の精度)、BiLD(最大9,5\%の精度)という3つの異なる投機的デコーディング技術で、90\%以上の精度でプライベートユーザ入力を学習できることを示す。 例えば、(RESTで)予測に使用されるデータストアのデータを毎秒25ドル以上のレートで、(LADEで)予測に使用されるハイパーパラメータなどです。 また、複数イテレーションにまたがるトークンの集約や追加バイトのパケットのパディングといった緩和戦略についても議論し、そのようなプライバシーや機密性侵害を避ける。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Private prediction for large-scale synthetic text generation [28.488459921169905]
  大規模言語モデル(LLM)を用いた微分プライベートテキスト生成手法を提案する。 プライベートな予測フレームワークでは、差分プライバシー保証を満たすために出力された合成データのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-16T18:28:40Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Differentially Private Secure Multiplication: Hiding Information in the Rubble of Noise [7.767656876470667]
  プライベート分散マルチパーティ乗算の問題点を考察する。 Shamirの秘密共有コーディング戦略が、分散計算における完全な情報理論プライバシを実現することは、十分に確立されている。
  論文  参考訳（メタデータ） (2023-09-28T02:13:13Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Planting and Mitigating Memorized Content in Predictive-Text Language Models [11.911353678499008]
  言語モデルは、ユーザ製品に自動テキスト補完サービスを提供するために広くデプロイされている。 近年の研究では、言語モデルがプライベートトレーニングデータを記憶するかなりのリスクを負っていることが明らかになっている。 本研究では,機密テキストの意図しない暗記を緩和するために,プライバシー保護手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-16T17:57:14Z)
• Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning [63.45532264721498]
  自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
  論文  参考訳（メタデータ） (2022-12-06T21:35:35Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)
• Detecting DeFi Securities Violations from Token Smart Contract Code [0.4263043028086136]
  DeFi(Decentralized Finance)は、さまざまなブロックチェーン上のスマートコントラクトを通じて構築および配信される金融製品とサービスのシステムである。 本研究の目的は、トークンのスマートコントラクトコードに基づいて、証券違反の可能性のあるDeFiプロジェクトを特定できるかどうかを明らかにすることである。
  論文  参考訳（メタデータ） (2021-12-06T01:44:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。