論文の概要: Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

• arxiv url: http://arxiv.org/abs/2606.11592v1
• Date: Wed, 10 Jun 2026 02:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 14:49:26.62518
• Title: Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference
• Title（参考訳）: プロンプト・インバージョン・アタックに対する防御 : LLM協調推論のための情報理論的アプローチ
• Authors: Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh,
• Abstract要約: 協調的なエッジクラウド推論により、リソース制約のあるデバイスは、クラウドサーバに部分計算をオフロードすることで、大きな言語モデル(LLM)を活用することができる。 中間的アクティベーションの送信は、インバージョンアタックを誘導する機密性の高いユーザープロンプトを公開する。 協調LLM推論におけるインバージョンを迅速に行うための情報理論防衛フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.218013327284395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Collaborative edge-cloud inference enables resource-constrained devices to leverage large language models (LLMs) by offloading partial computation to cloud servers. However, transmitting intermediate activations exposes sensitive user prompts to prompt inversion attacks, where an adversary reconstructs the original input from shared representations. Existing defenses rely largely on heuristic perturbations or empirical tuning, offering limited theoretical understanding of privacy leakage and its interaction with utility and latency constraints. We propose an information-theoretic defense framework for prompt inversion in collaborative LLM inference. Our approach learns privacy-preserving representations by explicitly minimizing the mutual information between intermediate activations and the input prompt while maintaining task utility under computational constraints. We derive theoretical guarantees on prompt reconstruction error, characterize fundamental privacy-utility tradeoffs, and establish token-level accuracy bounds for downstream inference. We then propose a novel defense based on privacy adapters implemented via low-dimensional information bottlenecks. Extensive experiments across multiple settings demonstrate that our method achieves superior privacy-utility-latency tradeoffs compared to existing defenses (up to 35% reduction in attack success), providing a principled foundation for private and efficient collaborative LLM inference.
• Abstract（参考訳）: 協調的なエッジクラウド推論により、リソース制約のあるデバイスは、クラウドサーバに部分計算をオフロードすることで、大きな言語モデル(LLM)を活用することができる。 しかし、中間的なアクティベーションを送信すると、センシティブなユーザプロンプトがインバージョンアタックを誘導し、敵が共有表現から元の入力を再構築する。 既存の防衛はヒューリスティックな摂動や経験的なチューニングに大きく依存しており、プライバシー漏洩の理論的理解と実用性やレイテンシの制約との相互作用を限定している。 協調LLM推論におけるインバージョンを迅速に行うための情報理論防衛フレームワークを提案する。 計算制約下でのタスクユーティリティを維持しながら、中間活性化と入力プロンプト間の相互情報を明示的に最小化することで、プライバシ保護表現を学習する。 提案手法は, 迅速な復元誤りの理論的保証, 基本的プライバシー利用トレードオフの特徴付け, 下流推論のためのトークンレベルの精度境界の設定を導出する。 そこで我々は,低次元情報ボトルネックによって実装されたプライバシアダプタに基づく新しい防御手法を提案する。 提案手法は, 従来の防衛法と比較して, プライバシ・ユーティリティ・レイテンシのトレードオフが優れていること(攻撃成功率を最大35%削減すること)を実証し, プライベートかつ効率的なLCM推論の基礎となることを実証した。

関連論文リスト

• What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference [13.194874392306085]
  本稿では、クライアントの入力を再構築するために、中間的なアクティベーションマッチング問題を解決するActInvを紹介する。 この脆弱性を理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅係数(PAF)を開発した。 私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。
  論文  参考訳（メタデータ） (2026-05-22T02:14:16Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
  大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。 しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。 我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
  論文  参考訳（メタデータ） (2025-11-04T15:14:58Z)
• The Sum Leaks More Than Its Parts: Compositional Privacy Risks and Mitigations in Multi-Agent Collaboration [72.33801123508145]
  大規模言語モデル(LLM)はマルチエージェントシステムに不可欠なものである。 プライバシーリスクは、暗記、直接推論、シングルターン評価を超えて現れる。 特に、相互作用によって構成される一見無害な反応は、敵が機密情報の回復を累積的に行うことができる。
  論文  参考訳（メタデータ） (2025-09-16T16:57:25Z)
• How Breakable Is Privacy: Probing and Resisting Model Inversion Attacks in Collaborative Inference [13.453033795109155]
  協調推論は、中間機能をクラウドモデルに伝達することでエッジデバイスの計算効率を向上させる。 モデル逆攻撃(MIA)の難しさを評価するための確立された基準はない。 本稿では、CIにおけるMIAの難易度を評価するための最初の理論的基準を提案し、相互情報、エントロピー、有効情報量などを重要な要因として同定する。
  論文  参考訳（メタデータ） (2025-01-01T13:00:01Z)
• PATROL: Privacy-Oriented Pruning for Collaborative Inference Against Model Inversion Attacks [15.257413246220032]
  協調推論は、リソース制約されたエッジデバイスが最先端のディープニューラルネットワーク(DNN)を使用して推論を実行できるようにする、有望なソリューションである。 近年の研究では、モデルインバージョンアタック(MIA)が中間結果から入力データを再構築し、協調推論に深刻なプライバシー上の懸念を呈している。 本稿では、プライバシ指向のプルーニングを開発し、協調推論のプライバシ、効率、実用性をバランスさせる、PATROLと呼ばれる実行可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-20T16:09:07Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。