論文の概要: SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC

• arxiv url: http://arxiv.org/abs/2506.15307v2
• Date: Fri, 26 Sep 2025 04:13:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.465991
• Title: SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC
• Title（参考訳）: SecP-Tuning: MPCによる大規模言語モデルの効率的なプライバシ保護プロンプトチューニング
• Authors: Jinglong Luo, Zhuo Zhang, Yehong Zhang, Shiyu Liu, Ye Dong, Hui Wang, Yue Yu, Xun Zhou, Zenglin Xu,
• Abstract要約: 大規模言語モデル(LLM)は多くの分野に革命をもたらしたが、医療やファイナンスといったプライバシーに敏感な分野の特殊タスクへの適応には制約が残っている。 セキュアなマルチパーティ計算(MPC)ベースのプライバシ保護機械学習は、モデルパラメータとデータのプライバシに関する理論的保証を提供する。 提案するSecP-Tuningは,LLMの効率的なプライバシ保護プロンプトチューニングを目的とした,最初のMPCベースのフレームワークである。
• 参考スコア（独自算出の注目度）: 45.27141187385785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have revolutionized numerous fields, yet their adaptation to specialized tasks in privacy-sensitive domains such as healthcare and finance remains constrained due to the scarcity of accessible training data caused by stringent privacy requirements. Secure Multi-party Computation (MPC)-based privacy-preserving machine learning provides theoretical guarantees for the privacy of model parameters and data. However, its application to LLMs has been predominantly limited to inference, as fine-tuning introduces significant efficiency challenges, particularly in backward propagation, optimizer, and self-attention operations. To address these challenges, we propose SecP-Tuning, the first MPC-based framework designed for efficient, privacy-preserving prompt tuning of LLMs. SecP-Tuning innovatively integrates Forward-only Tuning (FoT) through the ``data owner-server interaction" paradigm, effectively removing the need for privacy-preserving computations in backward propagation and optimization processes. Furthermore, it devises an efficient privacy-preserving Random Feature Attention (RFA), effectively mitigating the computational complexity of softmax-based self-attention and circumventing MPC-incompatible nonlinear operations. Experimental results demonstrate that, compared to full-Parameter Supervised Fine-Tuning (SFT) and gradient-based prompt tuning, SecP-Tuning achieves approximately 12 times and 16 times end-to-end acceleration, as well as 18 times and 20 times reductions in communication overhead, respectively. Moreover, in five few-shot tasks, it achieves an average performance score of 82.45, outperforming SFT's 79.90 and prompt tuning's 73.73. Additionally, the ``black-box/API-style" privacy-preserving tuning paradigm of SecP-Tuning effectively avoids memory leakage risks caused by gradient/parameter transmission.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの分野に革命をもたらしたが、医療や金融といったプライバシーに敏感な分野の特殊タスクへの適応は、厳格なプライバシ要件によって引き起こされる、アクセス可能なトレーニングデータの不足によって制限されている。 セキュアなマルチパーティ計算(MPC)ベースのプライバシ保護機械学習は、モデルパラメータとデータのプライバシに関する理論的保証を提供する。 しかし、特に後方伝播、オプティマイザ、自己注意操作において、微調整は重要な効率上の課題をもたらすため、LSMへの応用は推論に限られている。 これらの課題に対処するために,LLMの効率的かつプライバシ保護的迅速なチューニングを目的とした,最初のMPCベースのフレームワークであるSecP-Tuningを提案する。 SecP-Tuningは、"data owner-server interaction"パラダイムを通じてフォワードオンリーチューニング(FoT)を革新的に統合し、バックワードの伝搬と最適化プロセスにおけるプライバシ保存計算の必要性を効果的に除去する。さらに、効率的なプライバシ保存ランダム特徴注意(RFA)を考案し、ソフトマックスベースの自己アテンションの計算複雑性を効果的に軽減し、MPC非互換な非線形操作を回避する。実験結果は、フルパラメータの監視ファインチューニング(SFT)とグラデーションベースのプロンプトチューニング(SFT)と比較して、SecP-Tuningは、通信オーバヘッドの約12倍と20倍の削減を達成し、それぞれ18倍、20倍の削減を実現している。さらに、5つのタスクにおいて、平均 82.45.75 FT/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/7 3/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73 /73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/73/18) のメモリを効果的に回避する。

関連論文リスト

• SOFT: Selective Data Obfuscation for Protecting LLM Fine-tuning against Membership Inference Attacks [17.77094760401298]
  メンバーシップ推論攻撃(MIA)に対する微調整大言語モデルの脆弱性について検討する。 プライバシー保護とプライバシー保護のバランスをとるために,影響のあるデータ選択を調整可能なパラメータで活用することで,プライバシーの漏洩を緩和する新しい防衛手法であるSOFTを提案する。
  論文  参考訳（メタデータ） (2025-06-12T07:23:56Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
  クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。 小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:27:07Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Enhancing LLMs with Smart Preprocessing for EHR Analysis [3.5839042822277585]
  大規模言語モデル (LLM) は自然言語処理において顕著な熟練性を示している。 本稿では,厳密なプライバシ要件を持つ環境におけるローカルデプロイメントに最適化されたコンパクトなLLMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-03T22:06:55Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
  特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。 ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。 提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-11-01T19:19:23Z)
• A Federated Framework for LLM-based Recommendation [65.12855401912948]
  大規模言語モデル(LLM)は、微調整されたユーザ行動データを通じて生成レコメンデーションシステムに権限を与えている。 ユーザーデータを利用すると、重大なプライバシー上のリスクが発生し、倫理上のジレンマやデータ保護規則違反につながる可能性がある。 プライバシー問題に対処するため、Fed4Rec(Federated Learning for Recommendation)が有望なソリューションとして特定されている。
  論文  参考訳（メタデータ） (2024-02-15T14:09:28Z)
• MPCLeague: Robust MPC Platform for Privacy-Preserving Machine Learning [5.203329540700177]
  この論文は、2、3、4パーティで効率的なMPCフレームワークを設計することに焦点を当て、少なくとも1つの汚職とリング構造をサポートする。 それぞれのフレームワークに対して2つのバリエーションを提案し、一方は実行時間を最小化し、もう一方は金銭的コストに焦点を当てる。
  論文  参考訳（メタデータ） (2021-12-26T09:25:32Z)
• Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge Caching [91.50631418179331]
  MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。 分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T02:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。