論文の概要: Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer
Inputs of Language Models in Federated Learning
- arxiv url: http://arxiv.org/abs/2312.05720v3
- Date: Wed, 13 Mar 2024 11:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:58:34.062807
- Title: Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer
Inputs of Language Models in Federated Learning
- Title(参考訳): プライバシ攻撃におけるグラディエントと優先事項の超越 - プールレイヤの活用
フェデレーション学習における言語モデルの入力
- Authors: Jianwei Li, Sheng Liu, Qi Lei
- Abstract要約: 本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。
比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。
私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
- 参考スコア(独自算出の注目度): 27.03994310867473
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models trained via federated learning (FL) demonstrate impressive
capabilities in handling complex tasks while protecting user privacy. Recent
studies indicate that leveraging gradient information and prior knowledge can
potentially reveal training samples within FL setting. However, these
investigations have overlooked the potential privacy risks tied to the
intrinsic architecture of the models. This paper presents a two-stage privacy
attack strategy that targets the vulnerabilities in the architecture of
contemporary language models, significantly enhancing attack performance by
initially recovering certain feature directions as additional supervisory
signals. Our comparative experiments demonstrate superior attack performance
across various datasets and scenarios, highlighting the privacy leakage risk
associated with the increasingly complex architectures of language models. We
call for the community to recognize and address these potential privacy risks
in designing large language models.
- Abstract(参考訳): FL(Federated Learning)を通じてトレーニングされた言語モデルは、ユーザのプライバシ保護による複雑なタスクの処理において、優れた機能を示している。
近年の研究では、勾配情報と事前知識を活用することで、FL設定内のトレーニングサンプルが明らかになる可能性が示唆されている。
しかし、これらの調査は、モデル固有のアーキテクチャに関連する潜在的なプライバシーリスクを見落としている。
本稿では,現代言語モデルのアーキテクチャの脆弱性を狙った2段階のプライバシ攻撃戦略を提案する。
比較実験では、さまざまなデータセットやシナリオに対して優れた攻撃性能を示し、言語モデルの複雑化に伴うプライバシリークのリスクを強調した。
私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
関連論文リスト
- SoK: Reducing the Vulnerability of Fine-tuned Language Models to
Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。
これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文 参考訳(メタデータ) (2024-03-13T12:46:51Z) - Membership Inference Attacks and Privacy in Topic Modeling [3.9379577980832843]
トレーニングデータのメンバーを確実に識別できるトピックモデルに対する攻撃を提案する。
本稿では,DP語彙選択を前処理ステップとして組み込んだプライベートトピックモデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T12:43:42Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - Survey of Vulnerabilities in Large Language Models Revealed by
Adversarial Attacks [5.860289498416911]
大規模言語モデル(LLM)はアーキテクチャと能力において急速に進歩しています。
複雑なシステムに深く統合されるにつれて、セキュリティ特性を精査する緊急性が高まっている。
本稿では,LSMに対する対人攻撃の新たな学際的分野について調査する。
論文 参考訳(メタデータ) (2023-10-16T21:37:24Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:30:16Z) - On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.27379983653372]
我々は,記憶化という新たな視点からプライバシを調査することを提案する。
機械学習モデルの3つの重要な特性間の関係について、非自明な知見を公表する。
論文 参考訳(メタデータ) (2022-08-17T13:02:17Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。