論文の概要: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

• arxiv url: http://arxiv.org/abs/2410.00433v1
• Date: Tue, 1 Oct 2024 06:30:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:36:46.238365
• Title: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
• Title（参考訳）: 均一暗号化とLoRAを備えたPrivTuner:AIファンデーションモデルのプライバシ保護パラメータ効率の良い微調整のためのP3EFTスキーム
• Authors: Yang Li, Wenhan Yu, Jun Zhao,
• Abstract要約: ファインチューニング(FT)は、トレーニング済みのAIファンデーションモデルを、より小さなターゲットデータセットでトレーニングすることでカスタマイズする手法である。 完全同型暗号化(FHE)を組み込んだPrivTunerスキームをLoRAに実装し,プライバシ保護を実現する。 実験により,我々のアルゴリズムは,異なるプライバシー要件に適応しながら,エネルギー消費を大幅に削減できることが示された。
• 参考スコア（独自算出の注目度）: 10.553378639261673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI foundation models have recently demonstrated impressive capabilities across a wide range of tasks. Fine-tuning (FT) is a method of customizing a pre-trained AI foundation model by further training it on a smaller, targeted dataset. In this paper, we initiate the study of the Privacy-Preserving Parameter-Efficient FT (P3EFT) framework, which can be viewed as the intersection of Parameter-Efficient FT (PEFT) and Privacy-Preserving FT (PPFT). PEFT modifies only a small subset of the model's parameters to achieve FT (i.e., adapting a pre-trained model to a specific dataset), while PPFT uses privacy-preserving technologies to protect the confidentiality of the model during the FT process. There have been many studies on PEFT or PPFT but very few on their fusion, which motivates our work on P3EFT to achieve both parameter efficiency and model privacy. To exemplify our P3EFT, we present the PrivTuner scheme, which incorporates Fully Homomorphic Encryption (FHE) enabled privacy protection into LoRA (short for ``Low-Rank Adapter''). Intuitively speaking, PrivTuner allows the model owner and the external data owners to collaboratively implement PEFT with encrypted data. After describing PrivTuner in detail, we further investigate its energy consumption and privacy protection. Then, we consider a PrivTuner system over wireless communications and formulate a joint optimization problem to adaptively minimize energy while maximizing privacy protection, with the optimization variables including FDMA bandwidth allocation, wireless transmission power, computational resource allocation, and privacy protection. A resource allocation algorithm is devised to solve the problem. Experiments demonstrate that our algorithm can significantly reduce energy consumption while adapting to different privacy requirements.
• Abstract（参考訳）: AIファウンデーションモデルは、最近、幅広いタスクで印象的な能力を実証した。 ファインチューニング(FT)は、トレーニング済みのAIファンデーションモデルを、より小さなターゲットデータセットでトレーニングすることでカスタマイズする手法である。 本稿では,パラメータ効率FT(PEFT)とプライバシ効率FT(PPFT)の交点と見なすことができるプライバシ保存パラメータ効率FT(P3EFT)フレームワークの研究を開始する。 PEFTはFTを達成するためにモデルのパラメータの小さなサブセットだけを変更する(すなわち、訓練済みのモデルを特定のデータセットに適応させる)が、PPFTはFTプロセス中にモデルの機密性を保護するためにプライバシー保護技術を使用する。 PEFT や PPFT については多くの研究がなされているが,その融合はごくわずかであり,パラメータ効率とモデルプライバシの両方を達成するための P3EFT への取り組みを動機付けている。 P3EFTを例示するために,FHE(Fully Homomorphic Encryption)を組み込んだPrivTunerスキームをLoRA(‘Low-Rank Adapter’の略)に実装した。 直感的には、PrivTunerはモデル所有者と外部データ所有者がPEFTを暗号化データで共同で実装できるようにする。 PrivTunerの詳細を説明した後、エネルギー消費とプライバシー保護をさらに調査する。 次に、無線通信上のPrivTunerシステムについて検討し、FDMA帯域割り当て、無線伝送電力、計算資源割り当て、プライバシ保護などの最適化変数を用いて、プライバシ保護を最大化しつつ、エネルギーを適応的に最小化する共同最適化問題を定式化する。 この問題を解決するために資源割当アルゴリズムを考案した。 実験により,我々のアルゴリズムは,異なるプライバシー要件に適応しながら,エネルギー消費を大幅に削減できることが示された。

関連論文リスト

• Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.5989047000011911]
  協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。 制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。 提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T15:04:42Z)
• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Towards Achieving Near-optimal Utility for Privacy-Preserving Federated Learning via Data Generation and Parameter Distortion [19.691227962303515]
  フェデレートラーニング(FL)は、参加者がプライベートデータ情報を開示することなく、強化されたユーティリティでグローバルモデルを構築することを可能にする。 テキストプライバシーの維持と高モデルテキストティタリティ維持の要件を満たすために、様々な保護メカニズムを採用する必要がある。
  論文  参考訳（メタデータ） (2023-05-07T14:34:15Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。