Fugu-MT 論文翻訳(概要): Analysis of Privacy Leakage in Federated Large Language Models

論文の概要: Analysis of Privacy Leakage in Federated Large Language Models

arxiv url: http://arxiv.org/abs/2403.04784v1
Date: Sat, 2 Mar 2024 20:25:38 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 06:19:57.827574
Title: Analysis of Privacy Leakage in Federated Large Language Models
Title（参考訳）: フェデレーション付き大言語モデルにおけるプライバシ漏洩の解析
Authors: Minh N. Vu, Truc Nguyen, Tre' R. Jeter, My T. Thai,
Abstract要約: 大規模言語モデル(LLM)の訓練に使用するフェデレートラーニング(FL)のプライバシ分析について検討する。特に、様々なFL構成のプライバシー漏洩を評価するために、理論的成功率を保証した2つのアクティブメンバーシップ推論攻撃を設計する。我々の理論的な発見は、BERT、RoBERTa、DistilBERT、OpenAIのGPTなど、人気のあるLCMの重大なプライバシー上の脆弱性を明らかにする実用的な攻撃に変換される。
参考スコア（独自算出の注目度）: 18.332535398635027
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the rapid adoption of Federated Learning (FL) as the training and tuning protocol for applications utilizing Large Language Models (LLMs), recent research highlights the need for significant modifications to FL to accommodate the large-scale of LLMs. While substantial adjustments to the protocol have been introduced as a response, comprehensive privacy analysis for the adapted FL protocol is currently lacking. To address this gap, our work delves into an extensive examination of the privacy analysis of FL when used for training LLMs, both from theoretical and practical perspectives. In particular, we design two active membership inference attacks with guaranteed theoretical success rates to assess the privacy leakages of various adapted FL configurations. Our theoretical findings are translated into practical attacks, revealing substantial privacy vulnerabilities in popular LLMs, including BERT, RoBERTa, DistilBERT, and OpenAI's GPTs, across multiple real-world language datasets. Additionally, we conduct thorough experiments to evaluate the privacy leakage of these models when data is protected by state-of-the-art differential privacy (DP) mechanisms.
Abstract（参考訳）: LLM(Large Language Models)を利用したアプリケーションのためのトレーニングおよびチューニングプロトコルとして、FL(Federated Learning)が急速に採用され、最近の研究は、大規模LLMに対応するためにFLに大幅な修正を加える必要性を強調している。プロトコルの大幅な調整は応答として導入されているが、適応されたFLプロトコルの包括的なプライバシー分析は、現在不足している。このギャップに対処するため、我々の研究は理論的・実践的な視点から、LLMのトレーニングに使用するFLのプライバシー分析を広範囲に検討した。特に、様々なFL構成のプライバシー漏洩を評価するために、理論的成功率を保証した2つのアクティブメンバーシップ推論攻撃を設計する。我々の理論的な発見は実践的な攻撃に変換され、BERT、RoBERTa、DistilBERT、OpenAIのGPTなど、複数の実世界の言語データセットにまたがる人気のあるLLMの重大なプライバシー上の脆弱性が明らかになった。さらに,最先端の差分プライバシー(DP)機構によってデータが保護されている場合に,これらのモデルのプライバシー漏洩を評価するための徹底的な実験を行う。

関連論文リスト

Privacy Attack in Federated Learning is Not Easy: An Experimental Study [5.065947993017158]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のために提案される分散機械学習のパラダイムである。近年の研究では、FLはプライバシー保護を完全に保証できないことが示されている。プライバシ攻撃FLアルゴリズムが現実的なフェデレーション環境で有効かどうかは不明だ。
論文参考訳（メタデータ） (2024-09-28T10:06:34Z)
Re-Evaluating Privacy in Centralized and Decentralized Learning: An Information-Theoretical and Empirical Study [4.7773230870500605]
Decentralized Federated Learning (DFL)は、その堅牢性とスケーラビリティに注目を集めている。 Pasquiniらによる最近の研究はこの見解に異議を唱え、DFLは経験的攻撃に対するプライバシーを本質的に改善していないことを実証している。
論文参考訳（メタデータ） (2024-09-21T23:05:50Z)
Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文参考訳（メタデータ） (2024-08-28T08:22:21Z)
LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文参考訳（メタデータ） (2024-08-23T01:37:29Z)
PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文参考訳（メタデータ） (2024-07-12T03:18:08Z)
Locally Differentially Private In-Context Learning [8.659575019965152]
大規模な事前学習言語モデル(LLM)は、驚くべきインコンテキスト学習(ICL)能力を示している。本稿では,文脈内学習(LDP-ICL)の局所的差分的フレームワークを提案する。変圧器の勾配勾配降下による文脈内学習のメカニズムを考慮し,LDP-ICLにおけるプライバシとユーティリティのトレードオフ分析を行う。
論文参考訳（メタデータ） (2024-05-07T06:05:43Z)
Federated Learning with Reduced Information Leakage and Computation [17.069452700698047]
フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。本稿では,モデル更新毎に一階近似を適用する手法であるUpcycled-FLを紹介する。この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。
論文参考訳（メタデータ） (2023-10-10T06:22:06Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文参考訳（メタデータ） (2023-05-09T17:42:34Z)
Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文参考訳（メタデータ） (2022-02-14T18:33:12Z)
Understanding the Interplay between Privacy and Robustness in Federated Learning [15.673448030003788]
フェデレートラーニング(FL)は、プライバシー保護機械学習の有望なパラダイムとして浮上している。最近の作業では、FLのいくつかのプライバシとロバストネスの弱点が強調されている。 LDPがFLの敵対的堅牢性にどのように影響するかは、まだ不明である。
論文参考訳（メタデータ） (2021-06-13T16:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。