論文の概要: PriFFT: Privacy-preserving Federated Fine-tuning of Large Language Models via Hybrid Secret Sharing

• arxiv url: http://arxiv.org/abs/2503.03146v2
• Date: Wed, 14 May 2025 02:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 15:30:05.523927
• Title: PriFFT: Privacy-preserving Federated Fine-tuning of Large Language Models via Hybrid Secret Sharing
• Title（参考訳）: PriFFT: ハイブリッドシークレットシェアリングによる大規模言語モデルのプライバシ保護フェデレーション調整
• Authors: Zhichao You, Xuewen Dong, Ke Cheng, Xutong Mu, Jiaxuan Fu, Shiyang Ma, Qiang Qu, Yulong Shen,
• Abstract要約: 微調整された大規模言語モデル(LLM)は、機密性のあるトレーニングデータを公開するリスクにより、プライバシ上の懸念を提起する。 近年の研究では、敵は今でもFLで個人情報を推測できることが示されている。 プライバシ保護フェデレーションファインチューニング機構であるPriFFTを提案する。
• 参考スコア（独自算出の注目度）: 20.148411915688175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) raises privacy concerns due to the risk of exposing sensitive training data. Federated learning (FL) mitigates this risk by keeping training samples on local devices, while facing the following problems in privacy-preserving federated fine-tuning. (i) Recent studies show that adversaries can still infer private information in FL. (ii) LLM parameters are shared publicly during federated fine-tuning, while developers are often reluctant to disclose these parameters, posing further security challenges. (iii) Existing works focus on secure inference of LLMs but do not consider privacy-preserving fine-tuning. Inspired by the above problems, we propose PriFFT, a privacy-preserving federated fine-tuning mechanism, to protect both the model parameters and users' privacy. Due to considerable LLM parameters, we present hybrid secret sharing combining arithmetic secret sharing (ASS) and function secret sharing (FSS) to build secure operations and implement secure layers and activation for privacy-preserving fine-tuning. To improve the efficiency of privacy-preserving federated fine-tuning of LLMs, we optimize several secure computation protocols based on FSS, including reciprocal calculation, tensor products, natural exponentiation, softmax, sigmoid, hyperbolic tangent, and dropout. The hybrid secret sharing enables PriFFT to apply our optimized FSS protocols while combining ASS protocols to support complex computation without extra communication. The optimized protocols reduce execution time up to 62.5% and communication overhead up to 70.7% compared to existing protocols. Besides, PriFFT reduces execution time and communication overhead in privacy-preserving fine-tuning up to 59.1%$ and 77.0%$ without accuracy drop compared to the existing secret sharing methods.
• Abstract（参考訳）: 微調整された大規模言語モデル(LLM)は、機密性のあるトレーニングデータを公開するリスクにより、プライバシ上の懸念を提起する。 フェデレーションラーニング(FL)はこのリスクを軽減し、ローカルデバイス上でトレーニングサンプルを維持すると同時に、プライバシ保護のフェデレーションファインチューニングにおける次の問題に直面している。 (i)近年の研究では、FLでは敵がまだ個人情報を推測できることが示されている。 (ii) LLMパラメータは、フェデレートされた微調整中に公開され、開発者はこれらのパラメータを開示することに消極的であり、さらなるセキュリティ上の課題を引き起こします。 三 既存の著作物は、LLMのセキュアな推論に重点を置いているが、プライバシー保護の微調整は考慮していない。 上記の問題に着想を得て,プライバシ保護フェデレーションファインチューニング機構であるPriFFTを提案し,モデルパラメータとユーザのプライバシの両方を保護する。 演算秘密共有(ASS)と関数秘密共有(FSS)を組み合わせて,セキュアな操作を構築し,セキュアなレイヤを実装し,プライバシ保護のためのアクティベーションを行う。 プライバシ保護フェデレーションによるLCMの微調整の効率化を目的として,相互計算,テンソル製品,自然発散,ソフトマックス,シグモイド,双曲タンジェント,ドロップアウトなど,FSSに基づくセキュアな計算プロトコルを最適化した。 ハイブリッドなシークレット共有により、PriFFTは最適化されたFSSプロトコルを適用でき、ASSプロトコルを組み合わせて、余分な通信なしに複雑な計算をサポートできます。 最適化されたプロトコルは62.5%までの実行時間を短縮し、通信オーバヘッドは既存のプロトコルと比較して70.7%まで向上した。 PriFFTは、プライバシ保存の微調整における実行時間と通信オーバーヘッドを、既存のシークレット共有方法と比較して、精度が低下せずに59.1%$と77.0%$に削減する。

関連論文リスト

• FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
  フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T11:55:50Z)
• Camel: Communication-Efficient and Maliciously Secure Federated Learning in the Shuffle Model of Differential Privacy [9.100955087185811]
  フェデレートラーニング(FL)は、複数のクライアントが集約のための勾配更新のみを共有することで、モデルを共同でトレーニングすることを可能にする、急速に魅力的なパラダイムになっています。 プライバシーに敏感なグラデーションアップデートを保護するため、ローカルな差分プライバシーメカニズムの研究が続けられている。 我々は,DP のシャッフルモデルにおいて,コミュニケーション効率が高く,かつ悪意のある FL フレームワークである Camel を提示する。
  論文  参考訳（メタデータ） (2024-10-04T13:13:44Z)
• ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
  Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。 従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。 GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。 通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
  論文  参考訳（メタデータ） (2024-09-03T09:03:38Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation [4.467445574103374]
  クロスプラットフォームレコメンデーションは、さまざまなプラットフォームから異種機能を集めることで、レコメンデーションの精度を向上させることを目的としている。 このようなプラットフォーム間のクロスサイロなコラボレーションは、ますます厳しいプライバシー保護規制によって制限される。 クロスサイロ・フェデレーション・レコメンデーションのための新しいプライバシー保護型二重蒸留フレームワークであるFedPDDを提案する。
  論文  参考訳（メタデータ） (2023-05-09T16:17:04Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。