論文の概要: SecFwT: Efficient Privacy-Preserving Fine-Tuning of Large Language Models Using Forward-Only Passes
- arxiv url: http://arxiv.org/abs/2506.15307v1
- Date: Wed, 18 Jun 2025 09:36:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-19 19:35:51.621162
- Title: SecFwT: Efficient Privacy-Preserving Fine-Tuning of Large Language Models Using Forward-Only Passes
- Title（参考訳）: SecFwT: フォワードオンリーパスを用いた大規模言語モデルの効率的なプライバシー保護機能
- Authors: Jinglong Luo, Zhuo Zhang, Yehong Zhang, Shiyu Liu, Ye Dong, Xun Zhou, Hui Wang, Yue Yu, Zenglin Xu,
- Abstract要約: 大規模言語モデル(LLM)は、多くの分野を変えてきたが、医療や金融といったプライバシーに敏感な分野の特殊タスクへの適応は、厳しいプライバシー要件のためにアクセス可能なトレーニングデータの不足によって制約されている。
セキュアなマルチパーティ計算(MPC)ベースのプライバシ保護機械学習は、モデルパラメータとユーザデータの両方を保護する強力なアプローチを提供する。
提案するSecFwTは,効率よくプライバシ保護可能なLCMファインチューニングを目的とした,最初のMPCベースのフレームワークである。
- 参考スコア（独自算出の注目度）: 37.63828228378461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have transformed numerous fields, yet their adaptation to specialized tasks in privacy-sensitive domains, such as healthcare and finance, is constrained by the scarcity of accessible training data due to stringent privacy requirements. Secure multi-party computation (MPC)-based privacy-preserving machine learning offers a powerful approach to protect both model parameters and user data, but its application to LLMs has been largely limited to inference, as fine-tuning introduces significant computational challenges, particularly in privacy-preserving backward propagation and optimizer operations. This paper identifies two primary obstacles to MPC-based privacy-preserving fine-tuning of LLMs: (1) the substantial computational overhead of backward and optimizer processes, and (2) the inefficiency of softmax-based attention mechanisms in MPC settings. To address these challenges, we propose SecFwT, the first MPC-based framework designed for efficient, privacy-preserving LLM fine-tuning. SecFwT introduces a forward-only tuning paradigm to eliminate backward and optimizer computations and employs MPC-friendly Random Feature Attention to approximate softmax attention, significantly reducing costly non-linear operations and computational complexity. Experimental results demonstrate that SecFwT delivers substantial improvements in efficiency and privacy preservation, enabling scalable and secure fine-tuning of LLMs for privacy-critical applications.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの分野を変えてきたが、医療や金融といったプライバシーに敏感な分野の特殊タスクへの適応は、厳しいプライバシー要件のためにアクセス可能なトレーニングデータの不足によって制約されている。
セキュアなマルチパーティ計算(MPC)ベースのプライバシ保存機械学習は、モデルパラメータとユーザデータの両方を保護するための強力なアプローチを提供する。
本稿では,MPCによるプライバシー保護の微調整における主な障害として,(1)後方および最適化プロセスの計算オーバーヘッド,(2)MPC設定におけるソフトマックスに基づくアテンション機構の非効率性の2つを挙げる。
これらの課題に対処するために、我々は、効率よくプライバシを保存するLLM微調整のために設計された、最初のMPCベースのフレームワークであるSecFwTを提案する。
SecFwTは、後方処理とオプティマイザ計算を排除するためのフォワード専用チューニングパラダイムを導入し、MPCフレンドリーなランダム特徴注意を用いてソフトマックスの注意を近似し、コストのかかる非線形演算と計算複雑性を著しく低減する。
実験結果から、SecFwTは効率性とプライバシ保護を大幅に改善し、プライバシクリティカルなアプリケーションに対して、スケーラブルでセキュアなLLMの微調整を可能にすることが示された。
関連論文リスト
- SOFT: Selective Data Obfuscation for Protecting LLM Fine-tuning against Membership Inference Attacks [17.77094760401298]
メンバーシップ推論攻撃(MIA)に対する微調整大言語モデルの脆弱性について検討する。
プライバシー保護とプライバシー保護のバランスをとるために,影響のあるデータ選択を調整可能なパラメータで活用することで,プライバシーの漏洩を緩和する新しい防衛手法であるSOFTを提案する。
論文 参考訳（メタデータ） (2025-06-12T07:23:56Z) - FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。
FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。
ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
論文 参考訳（メタデータ） (2025-06-06T00:05:05Z) - PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。
小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。
帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-13T16:27:07Z) - Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。
微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。
これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-02-13T02:05:45Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - Enhancing LLMs with Smart Preprocessing for EHR Analysis [3.5839042822277585]
大規模言語モデル (LLM) は自然言語処理において顕著な熟練性を示している。
本稿では,厳密なプライバシ要件を持つ環境におけるローカルデプロイメントに最適化されたコンパクトなLLMフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-03T22:06:55Z) - FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。
ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。
提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文 参考訳（メタデータ） (2024-11-01T19:19:23Z) - A Federated Framework for LLM-based Recommendation [65.12855401912948]
大規模言語モデル(LLM)は、微調整されたユーザ行動データを通じて生成レコメンデーションシステムに権限を与えている。
ユーザーデータを利用すると、重大なプライバシー上のリスクが発生し、倫理上のジレンマやデータ保護規則違反につながる可能性がある。
プライバシー問題に対処するため、Fed4Rec(Federated Learning for Recommendation)が有望なソリューションとして特定されている。
論文 参考訳（メタデータ） (2024-02-15T14:09:28Z) - MPCLeague: Robust MPC Platform for Privacy-Preserving Machine Learning [5.203329540700177]
この論文は、2、3、4パーティで効率的なMPCフレームワークを設計することに焦点を当て、少なくとも1つの汚職とリング構造をサポートする。
それぞれのフレームワークに対して2つのバリエーションを提案し、一方は実行時間を最小化し、もう一方は金銭的コストに焦点を当てる。
論文 参考訳（メタデータ） (2021-12-26T09:25:32Z) - Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge
Caching [91.50631418179331]
MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。
分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
論文 参考訳（メタデータ） (2021-10-20T02:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。