論文の概要: Prompt Inference Attack on Distributed Large Language Model Inference Frameworks

• arxiv url: http://arxiv.org/abs/2503.09291v1
• Date: Wed, 12 Mar 2025 11:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:37:59.710241
• Title: Prompt Inference Attack on Distributed Large Language Model Inference Frameworks
• Title（参考訳）: 分散型大規模言語モデル推論フレームワークにおけるプロンプト推論攻撃
• Authors: Xinjian Luo, Ting Yu, Xiaokui Xiao,
• Abstract要約: 現代の大規模言語モデル(LLM)の推論プロセスでは、計算資源の禁止が要求され、コンシューマグレードのデバイスへのデプロイでは不可能である。 近年,資源制約のあるハードウェア上での協調LLM推論を実現するために,分割学習原理を用いた分散LLM推論フレームワークが提案されている。 しかし、LDM層を参加者に分散させるには中間出力の送信が必要であるため、元の入力プロンプトにプライバシーリスクが生じる可能性がある。
• 参考スコア（独自算出の注目度）: 22.787604216912257
• License:
• Abstract: The inference process of modern large language models (LLMs) demands prohibitive computational resources, rendering them infeasible for deployment on consumer-grade devices. To address this limitation, recent studies propose distributed LLM inference frameworks, which employ split learning principles to enable collaborative LLM inference on resource-constrained hardware. However, distributing LLM layers across participants requires the transmission of intermediate outputs, which may introduce privacy risks to the original input prompts - a critical issue that has yet to be thoroughly explored in the literature. In this paper, we rigorously examine the privacy vulnerabilities of distributed LLM inference frameworks by designing and evaluating three prompt inference attacks aimed at reconstructing input prompts from intermediate LLM outputs. These attacks are developed under various query and data constraints to reflect diverse real-world LLM service scenarios. Specifically, the first attack assumes an unlimited query budget and access to an auxiliary dataset sharing the same distribution as the target prompts. The second attack also leverages unlimited queries but uses an auxiliary dataset with a distribution differing from the target prompts. The third attack operates under the most restrictive scenario, with limited query budgets and no auxiliary dataset available. We evaluate these attacks on a range of LLMs, including state-of-the-art models such as Llama-3.2 and Phi-3.5, as well as widely-used models like GPT-2 and BERT for comparative analysis. Our experiments show that the first two attacks achieve reconstruction accuracies exceeding 90%, while the third achieves accuracies typically above 50%, even under stringent constraints. These findings highlight privacy risks in distributed LLM inference frameworks, issuing a strong alert on their deployment in real-world applications.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)の推論プロセスでは、計算資源の禁止が要求され、コンシューマグレードのデバイスへのデプロイでは不可能である。 この制限に対処するため、近年の研究では、リソース制約のあるハードウェア上での協調LLM推論を実現するために、分割学習原則を用いた分散LLM推論フレームワークを提案する。 しかし、LCM層を参加者に分散させるには中間出力の送信が必要であり、これは元の入力プロンプトにプライバシー上のリスクをもたらす可能性がある。 本稿では,中規模LSM出力からの入力プロンプトの再構築を目的とした3つのプロンプト推論攻撃を設計・評価することにより,分散LSM推論フレームワークのプライバシ脆弱性を厳格に検証する。 これらの攻撃は様々なクエリとデータ制約の下で開発され、様々な現実世界のLLMサービスのシナリオを反映している。 具体的には、最初の攻撃では、無制限のクエリ予算と、ターゲットのプロンプトと同じ分布を共有する補助データセットへのアクセスが想定される。 第2の攻撃は無制限のクエリも活用するが、ターゲットのプロンプトと異なる分布を持つ補助データセットを使用する。 第3の攻撃は、クエリ予算が制限され、補助データセットが使用できない、最も制限的なシナリオの下で実行される。 Llama-3.2 や Phi-3.5 のような最先端のモデルや GPT-2 や BERT のような広範に使われているモデルなど,様々な LLM に対する攻撃の評価を行った。 実験の結果,最初の2回の攻撃は再建精度が90%以上,第3の攻撃は拘束的制約下であっても50%以上に達することがわかった。 これらの知見は、分散LLM推論フレームワークにおけるプライバシーリスクを強調し、現実世界のアプリケーションへのデプロイに強い警告を発している。

関連論文リスト

• Universal Model Routing for Efficient LLM Inference [72.65083061619752]
  我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。 本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。 これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Model Inversion in Split Learning for Personalized LLMs: New Insights from Information Bottleneck Theory [11.83473842859642]
  この研究は、パーソナライズされたLLMのための分割学習フレームワークにおいて、モデル反転攻撃を識別する最初のものである。 本稿では,第1部が埋め込み空間に表現を投影する2段階攻撃システムを提案し,第2部は生成モデルを用いて埋め込み空間からテキストを復元する。
  論文  参考訳（メタデータ） (2025-01-10T13:47:13Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Let's Be Self-generated via Step by Step: A Curriculum Learning Approach to Automated Reasoning with Large Language Models [8.255272009912417]
  カリキュラム学習にインスパイアされたtextbfLBS3 自動推論のための新しいプロンプト手法を提案する。 LBS3はLLMを操り、ターゲットクエリに関連付けられた簡単にハードなプロキシクエリをリコールする。 これは、簡単なプロキシクエリから派生した例的なプロンプトを利用して、ハードプロキシクエリの解決にLSMを向けるプログレッシブ戦略を起動する。
  論文  参考訳（メタデータ） (2024-10-29T04:28:49Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Unveiling the Vulnerability of Private Fine-Tuning in Split-Based Frameworks for Large Language Models: A Bidirectionally Enhanced Attack [20.727726850786386]
  BiSRは、スプリットラーニング(SL)の前方および後方伝播プロセスの両方をターゲットにした最初のデータ再構成攻撃である。 SLの前方および後方伝播過程を標的とした最初のデータ再構成攻撃(DRA)であるBiSRを提案する。
  論文  参考訳（メタデータ） (2024-09-02T06:01:20Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。