論文の概要: FLTrojan: Privacy Leakage Attacks against Federated Language Models
Through Selective Weight Tampering
- arxiv url: http://arxiv.org/abs/2310.16152v1
- Date: Tue, 24 Oct 2023 19:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 18:18:45.277648
- Title: FLTrojan: Privacy Leakage Attacks against Federated Language Models
Through Selective Weight Tampering
- Title(参考訳): FLTrojan: 選択的な重み付けによるフェデレーション言語モデルに対するプライバシ漏洩攻撃
- Authors: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana,
Shagufta Mehnaz
- Abstract要約: 悪意のあるクライアントが、サーバからの協力なしに、FL内の他のユーザのプライバシーに敏感なデータを漏洩させる方法を示す。
最良性能の手法は、会員推算を29%改善し、最大70%の個人データ再構成を実現した。
- 参考スコア(独自算出の注目度): 2.3811618212533663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is becoming a key component in many technology-based
applications including language modeling -- where individual FL participants
often have privacy-sensitive text data in their local datasets. However,
realizing the extent of privacy leakage in federated language models is not
straightforward and the existing attacks only intend to extract data regardless
of how sensitive or naive it is. To fill this gap, in this paper, we introduce
two novel findings with regard to leaking privacy-sensitive user data from
federated language models. Firstly, we make a key observation that model
snapshots from the intermediate rounds in FL can cause greater privacy leakage
than the final trained model. Secondly, we identify that privacy leakage can be
aggravated by tampering with a model's selective weights that are specifically
responsible for memorizing the sensitive training data. We show how a malicious
client can leak the privacy-sensitive data of some other user in FL even
without any cooperation from the server. Our best-performing method improves
the membership inference recall by 29% and achieves up to 70% private data
reconstruction, evidently outperforming existing attacks with stronger
assumptions of adversary capabilities.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、言語モデリングを含む多くのテクノロジベースのアプリケーションにおいて、重要なコンポーネントになりつつある。
しかし、連合言語モデルにおけるプライバシー漏洩の程度を認識するのは簡単ではなく、既存の攻撃は、それがどれほど敏感であるか、あるいは無意味であるかに関わらず、データを抽出することだけを目的としている。
本稿では,このギャップを埋めるため,フェデレーション言語モデルからプライバシに敏感なユーザデータを漏洩する2つの新たな知見を提案する。
まず、FLの中間ラウンドからのモデルスナップショットが、最終的なトレーニングモデルよりも大きなプライバシリークを引き起こす可能性があることを重要視する。
第2に、センシティブなトレーニングデータを記憶する責任を特に負うモデルの選択的な重みを改ざんすることで、プライバシの漏洩が増大する可能性があることを特定する。
悪意のあるクライアントが、サーバからの協力なしに、FL内の他のユーザのプライバシーに敏感なデータを漏洩させる方法を示す。
提案手法は, メンバシップ推定のリコールを29%向上させ, 最大70%のプライベートデータ再構成を達成し, 敵の能力の強い仮定で既存の攻撃よりも優れていた。
関連論文リスト
- Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳(メタデータ) (2023-10-03T17:30:33Z) - RecUP-FL: Reconciling Utility and Privacy in Federated Learning via
User-configurable Privacy Defense [9.806681555309519]
フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。
本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
論文 参考訳(メタデータ) (2023-04-11T10:59:45Z) - How Much Privacy Does Federated Learning with Secure Aggregation
Guarantee? [22.7443077369789]
フェデレートラーニング(FL)は、複数のユーザに保存されたデータに対して、プライバシ保護機械学習を可能にすることへの関心が高まっている。
データはユーザのデバイスを離れることはないが、トレーニングデータに対する重要な計算がトレーニングされたローカルモデル形式で共有されるため、プライバシは保証されない。
セキュアアグリゲーション(SA)は、FLのプライバシーを守るためのフレームワークとして開発されている。
論文 参考訳(メタデータ) (2022-08-03T18:44:17Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Defending against Reconstruction Attacks with R\'enyi Differential
Privacy [72.1188520352079]
レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。
差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。
また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
論文 参考訳(メタデータ) (2022-02-15T18:09:30Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Decepticons: Corrupted Transformers Breach Privacy in Federated Learning
for Language Models [58.631918656336005]
悪意のあるパラメータベクトルを配置することで、プライベートなユーザテキストを明らかにする新たな攻撃を提案する。
FLに対する以前の攻撃とは異なり、攻撃はTransformerアーキテクチャとトークンの埋め込みの両方の特徴を利用する。
論文 参考訳(メタデータ) (2022-01-29T22:38:21Z) - Attribute Inference Attack of Speech Emotion Recognition in Federated
Learning Settings [56.93025161787725]
Federated Learning(FL)は、クライアントをコーディネートして、ローカルデータを共有せずにモデルを協調的にトレーニングする分散機械学習パラダイムである。
本稿では,共有勾配やモデルパラメータからクライアントの機密属性情報を推測する属性推論攻撃フレームワークを提案する。
FLを用いて学習したSERシステムに対して,属性推論攻撃が達成可能であることを示す。
論文 参考訳(メタデータ) (2021-12-26T16:50:42Z) - Selective Differential Privacy for Language Modeling [36.64464956102432]
これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。
我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。
言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
論文 参考訳(メタデータ) (2021-08-30T01:11:10Z) - Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。
悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。
本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
論文 参考訳(メタデータ) (2020-11-10T13:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。