論文の概要: An Attack to Break Permutation-Based Private Third-Party Inference Schemes for LLMs

• arxiv url: http://arxiv.org/abs/2505.18332v1
• Date: Fri, 23 May 2025 19:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.34677
• Title: An Attack to Break Permutation-Based Private Third-Party Inference Schemes for LLMs
• Title（参考訳）: LLMのための置換に基づくプライベートサードパーティ推論スキームを破る攻撃
• Authors: Rahul Thomas, Louai Zahran, Erica Choi, Akilesh Potti, Micah Goldblum, Arka Pal,
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、サードパーティの推論サービスの普及につながっている。 Secure Multiparty Computation (SMPC) のような既存のサードパーティーの推論手法は暗号方式に依存していることが多い。 隠れた状態からほぼ完全な精度で元のプロンプトを復元できる新しい復元手法を提案する。
• 参考スコア（独自算出の注目度）: 31.561665382764076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) have led to the widespread adoption of third-party inference services, raising critical privacy concerns. Existing methods of performing private third-party inference, such as Secure Multiparty Computation (SMPC), often rely on cryptographic methods. However, these methods are thousands of times slower than standard unencrypted inference, and fail to scale to large modern LLMs. Therefore, recent lines of work have explored the replacement of expensive encrypted nonlinear computations in SMPC with statistical obfuscation methods - in particular, revealing permuted hidden states to the third parties, with accompanying strong claims of the difficulty of reversal into the unpermuted states. In this work, we begin by introducing a novel reconstruction technique that can recover original prompts from hidden states with nearly perfect accuracy across multiple state-of-the-art LLMs. We then show that extensions of our attack are nearly perfectly effective in reversing permuted hidden states of LLMs, demonstrating the insecurity of three recently proposed privacy schemes. We further dissect the shortcomings of prior theoretical `proofs' of permuation security which allow our attack to succeed. Our findings highlight the importance of rigorous security analysis in privacy-preserving LLM inference.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩により、サードパーティの推論サービスが広く採用され、重要なプライバシー上の懸念が持ち上がっている。 Secure Multiparty Computation (SMPC) のような既存のサードパーティーの推論手法は暗号方式に依存していることが多い。 しかし、これらの手法は標準的な暗号化されていない推論よりも何千倍も遅いため、大規模なLLMにスケールできない。 そのため、最近の研究は、SMPCにおける高価な暗号化された非線形計算を統計的難読化法で置き換えることを探っている。 本研究では,複数のLLMにおいて,隠れ状態から元のプロンプトをほぼ完璧な精度で復元できる新しい再構築手法を導入することから始める。 次に、我々の攻撃の拡張は、最近提案された3つのプライバシースキームの安全性を実証し、LLMの置換された隠れ状態の反転にほぼ完全に有効であることを示す。 我々は、我々の攻撃を成功させるために、従来の理論上の「防備」の難しさをさらに否定する。 プライバシ保護型LPM推論における厳密なセキュリティ分析の重要性が示唆された。

関連論文リスト

• Private Language Models via Truncated Laplacian Mechanism [18.77713904999236]
  本稿では,高次元トラカート型ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。 提案手法は,従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。 注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。
  論文  参考訳（メタデータ） (2024-10-10T15:25:02Z)
• The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
  新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。 これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。 キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-30T06:55:00Z)
• Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
  フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。 ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:22:21Z)
• Jailbreaking Large Language Models Through Alignment Vulnerabilities in Out-of-Distribution Settings [57.136748215262884]
  本稿では,ObscurePrompt for jailbreaking LLMを紹介し,OOD(Out-of-Distribution)データにおける脆弱なアライメントに着想を得た。 まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどう影響するかを考察する。 本手法は,2つの防御機構に対する有効性を保ちながら,攻撃効果の観点から従来の手法を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-19T16:09:58Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。