論文の概要: Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer
Inputs of Language Models in Federated Learning
- arxiv url: http://arxiv.org/abs/2312.05720v1
- Date: Sun, 10 Dec 2023 01:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 19:14:33.004069
- Title: Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer
Inputs of Language Models in Federated Learning
- Title(参考訳): プライバシ攻撃の勾配と優先順位を超えて: フェデレーション学習における言語モデルのプール層入力の活用
- Authors: Jianwei Li, Sheng Liu, Qi Lei
- Abstract要約: フェデレートラーニング(FL)では、データをローカルに保存し、モデル更新のみを送信することで、ユーザのプライバシの基盤となる分散トレーニングを強調している。
近年,プライバシ攻撃に関する一連の研究は,FLの文脈における言語モデルからセンシティブなトレーニングテキストを抽出することにより,ユーザのプライバシを損なうものとなっている。
本稿では,様々なバッチサイズ設定におけるテキストの回復率を著しく向上させ,検出し難い革新的なアプローチを提案する。
- 参考スコア(独自算出の注目度): 27.03994310867473
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) emphasizes decentralized training by storing data
locally and sending only model updates, underlining user privacy. Recently, a
line of works on privacy attacks impairs user privacy by extracting sensitive
training text from language models in the context of FL. Yet, these attack
techniques face distinct hurdles: some work chiefly with limited batch sizes
(e.g., batch size of 1), and others are easily detectable. This paper
introduces an innovative approach that is challenging to detect, significantly
enhancing the recovery rate of text in various batch-size settings. Building on
fundamental gradient matching and domain prior knowledge, we enhance the attack
by recovering the input of the Pooler layer of language models, which enables
us to provide additional supervised signals at the feature level. Unlike
gradient data, these signals do not average across sentences and tokens,
thereby offering more nuanced and effective insights. We benchmark our method
using text classification tasks on datasets such as CoLA, SST-2, and Rotten
Tomatoes. Across different batch sizes and models, our approach consistently
outperforms previous state-of-the-art results.
- Abstract(参考訳): federated learning(fl)は、データをローカルに保存し、モデル更新のみを送信することで、ユーザのプライバシを強調する。
最近、flの文脈で言語モデルからセンシティブなトレーニングテキストを抽出することで、プライバシ攻撃に関する一連の作業がユーザのプライバシを損なう。
バッチサイズが制限された作業(バッチサイズ1など)もあれば,検出が容易なものもある。
本稿では,様々なバッチサイズ設定におけるテキストの回復率を著しく向上させ,検出し難い革新的なアプローチを提案する。
基本的なグラデーションマッチングとドメイン事前知識に基づいて,言語モデルのプール層の入力を復元することで,機能レベルで追加の教師付き信号を提供することができる。
勾配データとは異なり、これらの信号は文やトークンの平均値ではなく、より微妙で効果的な洞察を提供する。
我々は,テキスト分類タスクをCoLA,SST-2,Rotten Tomatoesなどのデータセット上でベンチマークする。
バッチサイズとモデルが異なるため、我々のアプローチは従来よりも一貫して優れています。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - SoK: Reducing the Vulnerability of Fine-tuned Language Models to
Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。
これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文 参考訳(メタデータ) (2024-03-13T12:46:51Z) - Membership Inference Attacks and Privacy in Topic Modeling [3.9379577980832843]
トレーニングデータのメンバーを確実に識別できるトピックモデルに対する攻撃を提案する。
本稿では,DP語彙選択を前処理ステップとして組み込んだプライベートトピックモデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T12:43:42Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - Survey of Vulnerabilities in Large Language Models Revealed by
Adversarial Attacks [5.860289498416911]
大規模言語モデル(LLM)はアーキテクチャと能力において急速に進歩しています。
複雑なシステムに深く統合されるにつれて、セキュリティ特性を精査する緊急性が高まっている。
本稿では,LSMに対する対人攻撃の新たな学際的分野について調査する。
論文 参考訳(メタデータ) (2023-10-16T21:37:24Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。