論文の概要: PriFFT: Privacy-preserving Federated Fine-tuning of Large Language Models via Function Secret Sharing

• arxiv url: http://arxiv.org/abs/2503.03146v1
• Date: Wed, 05 Mar 2025 03:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:50:36.426711
• Title: PriFFT: Privacy-preserving Federated Fine-tuning of Large Language Models via Function Secret Sharing
• Title（参考訳）: PriFFT: 関数シークレット共有による大規模言語モデルの細調整をプライバシに保存する
• Authors: Zhichao You, Xuewen Dong, Ke Cheng, Xutong Mu, Jiaxuan Fu, Shiyang Ma, Qiang Qu, Yulong Shen,
• Abstract要約: 微調整された大規模言語モデル(LLM)は、機密性のあるトレーニングデータを公開するリスクにより、プライバシ上の懸念を提起する。 近年の研究では、FLのモデル更新から敵がまだプライベート情報を推測できることが示されている。 プライバシ保護フェデレーションファインチューニング機構であるPriFFTを提案する。
• 参考スコア（独自算出の注目度）: 20.148411915688175
• License:
• Abstract: Fine-tuning large language models (LLMs) raises privacy concerns due to the risk of exposing sensitive training data. Federated learning (FL) mitigates this risk by keeping training samples on local devices, but recent studies show that adversaries can still infer private information from model updates in FL. Additionally, LLM parameters are typically shared publicly during federated fine-tuning, while developers are often reluctant to disclose these parameters, posing further security challenges. Inspired by the above problems, we propose PriFFT, a privacy-preserving federated fine-tuning mechanism, to protect both the model updates and parameters. In PriFFT, clients and the server share model inputs and parameters by secret sharing, performing secure fine-tuning on shared values without accessing plaintext data. Due to considerable LLM parameters, privacy-preserving federated fine-tuning invokes complex secure calculations and requires substantial communication and computation resources. To optimize the efficiency of privacy-preserving federated fine-tuning of LLMs, we introduce function secret-sharing protocols for various operations, including reciprocal calculation, tensor products, natural exponentiation, softmax, hyperbolic tangent, and dropout. The proposed protocols achieve up to 4.02X speed improvement and reduce 7.19X communication overhead compared to the implementation based on existing secret sharing methods. Besides, PriFFT achieves a 2.23X speed improvement and reduces 4.08X communication overhead in privacy-preserving fine-tuning without accuracy drop compared to the existing secret sharing methods.
• Abstract（参考訳）: 微調整された大規模言語モデル(LLM)は、機密性のあるトレーニングデータを公開するリスクにより、プライバシ上の懸念を提起する。 FL(Federated Learning)は、ローカルデバイス上でトレーニングサンプルを保持することで、このリスクを軽減しているが、最近の研究では、FLのモデル更新から敵がまだプライベート情報を推測できることが示されている。 加えて、LLMパラメータは通常、フェデレートされた微調整中に公開され、開発者はこれらのパラメータを開示することを嫌がり、さらなるセキュリティ上の問題を引き起こす。 上記の問題に触発されて,プライバシ保護フェデレーションファインチューニング機構であるPriFFTを提案し,モデル更新とパラメータの両方を保護する。 PriFFTでは、クライアントとサーバの共有モデルが秘密の共有によって入力とパラメータを入力し、平文データにアクセスすることなく共有値のセキュアな微調整を行う。 LLMパラメータがかなり大きいため、プライバシ保護フェデレートされたファインチューニングは複雑なセキュアな計算を呼び起こし、かなりの通信と計算資源を必要とする。 プライバシ保護フェデレーションによるLLMの微調整の効率を最適化するために,相互計算,テンソル製品,自然発散,ソフトマックス,双曲タンジェント,ドロップアウトなど,さまざまな操作のための関数秘密共有プロトコルを導入する。 提案プロトコルは最大4.02倍の高速化を実現し、7.19倍の通信オーバヘッドを削減する。 さらに、PriFFTは2.23倍のスピード向上を実現し、従来のシークレット共有方式に比べて精度が低下することなく、プライバシー保護の微調整において4.08倍の通信オーバーヘッドを低減している。

関連論文リスト

• Camel: Communication-Efficient and Maliciously Secure Federated Learning in the Shuffle Model of Differential Privacy [9.100955087185811]
  フェデレートラーニング(FL)は、複数のクライアントが集約のための勾配更新のみを共有することで、モデルを共同でトレーニングすることを可能にする、急速に魅力的なパラダイムになっています。 プライバシーに敏感なグラデーションアップデートを保護するため、ローカルな差分プライバシーメカニズムの研究が続けられている。 我々は,DP のシャッフルモデルにおいて,コミュニケーション効率が高く,かつ悪意のある FL フレームワークである Camel を提示する。
  論文  参考訳（メタデータ） (2024-10-04T13:13:44Z)
• ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
  Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。 従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。 GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。 通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
  論文  参考訳（メタデータ） (2024-09-03T09:03:38Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation [4.467445574103374]
  クロスプラットフォームレコメンデーションは、さまざまなプラットフォームから異種機能を集めることで、レコメンデーションの精度を向上させることを目的としている。 このようなプラットフォーム間のクロスサイロなコラボレーションは、ますます厳しいプライバシー保護規制によって制限される。 クロスサイロ・フェデレーション・レコメンデーションのための新しいプライバシー保護型二重蒸留フレームワークであるFedPDDを提案する。
  論文  参考訳（メタデータ） (2023-05-09T16:17:04Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。