論文の概要: Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning

• arxiv url: http://arxiv.org/abs/2312.05720v2
• Date: Thu, 11 Jan 2024 04:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 03:10:21.638995
• Title: Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning
• Title（参考訳）: プライバシ攻撃の勾配と優先順位を超えて: フェデレーション学習における言語モデルのプール層入力の活用
• Authors: Jianwei Li, Sheng Liu, Qi Lei
• Abstract要約: フェデレートラーニング(FL)では、データをローカルに保存し、モデル更新のみを送信することで、ユーザのプライバシの基盤となる分散トレーニングを強調している。 近年,プライバシ攻撃に関する一連の研究は,FLの文脈における言語モデルからセンシティブなトレーニングテキストを抽出することにより,ユーザのプライバシを損なうものとなっている。 本稿では,様々なバッチサイズ設定におけるテキストの回復率を著しく向上させ,検出し難い革新的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 27.03994310867473
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning (FL) emphasizes decentralized training by storing data locally and sending only model updates, underlining user privacy. Recently, a line of works on privacy attacks impairs user privacy by extracting sensitive training text from language models in the context of FL. Yet, these attack techniques face distinct hurdles: some work chiefly with limited batch sizes (e.g., batch size of 1), and others are easily detectable. This paper introduces an innovative approach that is challenging to detect, significantly enhancing the recovery rate of text in various batch-size settings. Building on fundamental gradient matching and domain prior knowledge, we enhance the attack by recovering the input of the Pooler layer of language models, which enables us to provide additional supervised signals at the feature level. Unlike gradient data, these signals do not average across sentences and tokens, thereby offering more nuanced and effective insights. We benchmark our method using text classification tasks on datasets such as CoLA, SST-2, and Rotten Tomatoes. Across different batch sizes and models, our approach consistently outperforms previous state-of-the-art results.
• Abstract（参考訳）: federated learning(fl)は、データをローカルに保存し、モデル更新のみを送信することで、ユーザのプライバシを強調する。 最近、flの文脈で言語モデルからセンシティブなトレーニングテキストを抽出することで、プライバシ攻撃に関する一連の作業がユーザのプライバシを損なう。 バッチサイズが制限された作業(バッチサイズ1など)もあれば,検出が容易なものもある。 本稿では,様々なバッチサイズ設定におけるテキストの回復率を著しく向上させ,検出し難い革新的なアプローチを提案する。 基本的なグラデーションマッチングとドメイン事前知識に基づいて,言語モデルのプール層の入力を復元することで,機能レベルで追加の教師付き信号を提供することができる。 勾配データとは異なり、これらの信号は文やトークンの平均値ではなく、より微妙で効果的な洞察を提供する。 我々は,テキスト分類タスクをCoLA,SST-2,Rotten Tomatoesなどのデータセット上でベンチマークする。 バッチサイズとモデルが異なるため、我々のアプローチは従来よりも一貫して優れています。

関連論文リスト

• New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook [54.24701201956833]
  セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-12T10:15:33Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Unique Security and Privacy Threats of Large Language Model: A Comprehensive Survey [46.19229410404056]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 これらのモデルは、強力な言語理解と生成能力を示すために、広大なデータセットでトレーニングされている。 プライバシーとセキュリティの問題は、そのライフサイクルを通じて明らかになっている。
  論文  参考訳（メタデータ） (2024-06-12T07:55:32Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks [1.03590082373586]
  我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。 これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
  論文  参考訳（メタデータ） (2024-03-13T12:46:51Z)
• Membership Inference Attacks and Privacy in Topic Modeling [3.503833571450681]
  トレーニングデータのメンバーを確実に識別できるトピックモデルに対する攻撃を提案する。 本稿では,DP語彙選択を前処理ステップとして組み込んだプライベートトピックモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T12:43:42Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。