論文の概要: What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference

• arxiv url: http://arxiv.org/abs/2605.23158v1
• Date: Fri, 22 May 2026 02:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.160623
• Title: What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference
• Title（参考訳）: サーバは何を見ているか? 分割推論における大規模言語モデルからのプライバシー漏洩を理解する
• Authors: Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen,
• Abstract要約: 本稿では、クライアントの入力を再構築するために、中間的なアクティベーションマッチング問題を解決するActInvを紹介する。 この脆弱性を理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅係数(PAF)を開発した。 私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。
• 参考スコア（独自算出の注目度）: 13.194874392306085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment of large language models (LLMs) on resource-constrained devices remains challenging, spurring interest in split inference, where models are partitioned between client and server to reduce computational burden and enhance privacy by transmitting only intermediate activations. However, the privacy-preserving capabilities of split inference, particularly in the context of LLMs, have not been exhaustively investigated. To fill this gap, we introduce ActInv, which solves an intermediate activation matching problem to reconstruct the client's input. Extensive evaluations demonstrate that ActInv achieves high-fidelity reconstructions, even in the presence of common perturbation-based defenses such as Gaussian noise injection and activation sparsification. To systematically understand this vulnerability, we develop Perturbation Amplification Factor (PAF), a metric for quantifying a layer's inherent resistance to reconstruction. Our analysis reveals that privacy vulnerability is not uniform across layers, with some layers being highly susceptible to leakage while others offer natural resistance. Furthermore, we demonstrate that defense effectiveness can be significantly improved by calibrating perturbation directions to maximize reconstruction error during backpropagation. Building on these insights, we design PriPert and conduct comprehensive evaluations, covering privacy, utility, and computational overhead, to demonstrate its effectiveness.
• Abstract（参考訳）: リソース制約のあるデバイスへの大規模言語モデル(LLM)のデプロイは依然として困難であり、クライアントとサーバの間でモデルを分割して計算負担を減らし、中間的なアクティベーションのみを送信することによってプライバシを高めるという、分割推論への関心が高まっている。 しかし, 分割推論のプライバシ保護能力, 特にLDMの文脈では, 徹底的に検討されていない。 このギャップを埋めるために、クライアントの入力を再構築する中間的アクティベーションマッチング問題を解決するActInvを導入する。 ActInvは、ガウスノイズ注入やアクティベーションスパシフィケーションのような共通の摂動型防御が存在する場合でも、高忠実な再構築を実現している。 この脆弱性を体系的に理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅因子(PAF)を開発した。 私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。 さらに,バックプロパゲーション時の復元誤差を最大化するために摂動方向を校正することにより,防御効果を著しく向上できることを示す。 これらの知見に基づいて、我々はPriPertを設計し、その効果を示すために、プライバシー、ユーティリティ、計算オーバーヘッドをカバーする包括的な評価を行う。

関連論文リスト

• ARES: Scalable and Practical Gradient Inversion Attack in Federated Learning through Activation Recovery [73.8181449261685]
  Federated Learning(FL)は、モデルの更新を生データではなく共有することで、ユーザのプライバシ保護を目的としたコラボレーションモデルトレーニングを可能にする。 最近の研究によると、これらの共有更新は、勾配反転攻撃(GIA)を通じて、不注意にセンシティブなトレーニングデータを漏洩する可能性がある。
  論文  参考訳（メタデータ） (2026-03-18T11:40:44Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• Revisiting the Privacy Risks of Split Inference: A GAN-Based Data Reconstruction Attack via Progressive Feature Optimization [49.32786615205064]
  Split Inference (SI)は、エッジデバイスとクラウドの間の計算を分割することで、レイテンシを低減し、ユーザのプライバシを保護する。 データ再構成攻撃(DRA)の最近の進歩は、SIで交換された中間的特徴を利用して機密入力データを復元できることを明らかにしている。 既存のDRAは一般的に浅いモデルにのみ有効であり、セマンティックな事前を十分に活用できない。 本稿では,プログレッシブ・フィーチャー・オプティマイゼーション(PFO)を用いた新しいGANベースのDRAフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-28T10:00:39Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• How Breakable Is Privacy: Probing and Resisting Model Inversion Attacks in Collaborative Inference [13.453033795109155]
  協調推論は、中間機能をクラウドモデルに伝達することでエッジデバイスの計算効率を向上させる。 モデル逆攻撃(MIA)の難しさを評価するための確立された基準はない。 本稿では、CIにおけるMIAの難易度を評価するための最初の理論的基準を提案し、相互情報、エントロピー、有効情報量などを重要な要因として同定する。
  論文  参考訳（メタデータ） (2025-01-01T13:00:01Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。