論文の概要: Label Privacy in Split Learning for Large Models with Parameter-Efficient Training

• arxiv url: http://arxiv.org/abs/2412.16669v1
• Date: Sat, 21 Dec 2024 15:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:28.378989
• Title: Label Privacy in Split Learning for Large Models with Parameter-Efficient Training
• Title（参考訳）: パラメータ効率のよい大規模モデルの分割学習におけるラベルプライバシ
• Authors: Philip Zmushko, Marat Mansurov, Ruslan Svirschevski, Denis Kuznedelev, Max Ryabinin, Aleksandr Beznosikov,
• Abstract要約: ラベルを非公開にしながら、API上でモデルを微調整する方法を探します。 P$3$EFTは、既存のPEFTプロパティを利用して、より低いパフォーマンスオーバーヘッドでプライバシを維持するマルチパーティ分割学習アルゴリズムである。
• 参考スコア（独自算出の注目度）: 51.28799334394279
• License:
• Abstract: As deep learning models become larger and more expensive, many practitioners turn to fine-tuning APIs. These web services allow fine-tuning a model between two parties: the client that provides the data, and the server that hosts the model. While convenient, these APIs raise a new concern: the data of the client is at risk of privacy breach during the training procedure. This challenge presents an important practical case of vertical federated learning, where the two parties perform parameter-efficient fine-tuning (PEFT) of a large model. In this study, we systematically search for a way to fine-tune models over an API while keeping the labels private. We analyze the privacy of LoRA, a popular approach for parameter-efficient fine-tuning when training over an API. Using this analysis, we propose P$^3$EFT, a multi-party split learning algorithm that takes advantage of existing PEFT properties to maintain privacy at a lower performance overhead. To validate our algorithm, we fine-tune DeBERTa-v2-XXLarge, Flan-T5 Large and LLaMA-2 7B using LoRA adapters on a range of NLP tasks. We find that P$^3$EFT is competitive with existing privacy-preserving methods in multi-party and two-party setups while having higher accuracy.
• Abstract（参考訳）: ディープラーニングモデルが大きくなり、より高価になるにつれて、多くの実践者が微調整のAPIに目を向ける。 これらのWebサービスは、データを提供するクライアントとモデルをホストするサーバの2つのパーティ間でモデルを微調整することができます。 クライアントのデータは、トレーニング手順中にプライバシー侵害のリスクがある。 この課題は,大規模モデルのパラメータ効率のよい微調整(PEFT)を行う,垂直連合学習の重要な実践例を示す。 本研究では,ラベルをプライベートに保ちながら,API上でモデルを微調整する方法を体系的に探索する。 API上でのトレーニングではパラメータ効率のよい微調整が一般的であるLoRAのプライバシを分析する。 この分析により,従来のPEFTプロパティを活用して,より低い性能オーバーヘッドでプライバシを維持するマルチパーティ分割学習アルゴリズムであるP$^3$EFTを提案する。 このアルゴリズムを検証するために,NLPタスクにLoRAアダプタを用いてDeBERTa-v2-XXLarge,Flan-T5 Large,LLaMA-2 7Bを微調整した。 P$^3$EFTは、既存のプライバシ保護手法と競合し、高い精度でマルチパーティとツーパーティのセットアップが可能である。

関連論文リスト

• Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
  本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。 ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
  論文  参考訳（メタデータ） (2024-06-05T17:41:42Z)
• DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
  フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
  論文  参考訳（メタデータ） (2024-05-10T10:10:37Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients [0.5144809478361603]
  PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。 クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。 我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
  論文  参考訳（メタデータ） (2023-03-19T10:38:29Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Petals: Collaborative Inference and Fine-tuning of Large Models [78.37798144357977]
  多くのNLPタスクは、1000億以上のパラメータを持つ大きな言語モデル(LLM)を使用することで恩恵を受ける。 BLOOM-176BとOPT-175Bのリリースにより、誰もがこのスケールで事前訓練されたモデルをダウンロードできる。 我々は,大規模モデルの推測と微調整を協調的に行うシステムとして,Petals $-$を提案する。
  論文  参考訳（メタデータ） (2022-09-02T17:38:03Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。