論文の概要: Decepticons: Corrupted Transformers Breach Privacy in Federated Learning for Language Models

• arxiv url: http://arxiv.org/abs/2201.12675v2
• Date: Wed, 31 May 2023 16:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 04:49:01.580491
• Title: Decepticons: Corrupted Transformers Breach Privacy in Federated Learning for Language Models
• Title（参考訳）: ディセプティコン:言語モデルのフェデレーション学習でトランスフォーマーがプライバシーを侵害
• Authors: Liam Fowl, Jonas Geiping, Steven Reich, Yuxin Wen, Wojtek Czaja, Micah Goldblum, Tom Goldstein
• Abstract要約: 悪意のあるパラメータベクトルを配置することで、プライベートなユーザテキストを明らかにする新たな攻撃を提案する。 FLに対する以前の攻撃とは異なり、攻撃はTransformerアーキテクチャとトークンの埋め込みの両方の特徴を利用する。
• 参考スコア（独自算出の注目度）: 58.631918656336005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central tenet of Federated learning (FL), which trains models without centralizing user data, is privacy. However, previous work has shown that the gradient updates used in FL can leak user information. While the most industrial uses of FL are for text applications (e.g. keystroke prediction), nearly all attacks on FL privacy have focused on simple image classifiers. We propose a novel attack that reveals private user text by deploying malicious parameter vectors, and which succeeds even with mini-batches, multiple users, and long sequences. Unlike previous attacks on FL, the attack exploits characteristics of both the Transformer architecture and the token embedding, separately extracting tokens and positional embeddings to retrieve high-fidelity text. This work suggests that FL on text, which has historically been resistant to privacy attacks, is far more vulnerable than previously thought.
• Abstract（参考訳）: ユーザデータを集中化せずにモデルをトレーニングするフェデレートラーニング(FL)の中心的要素は、プライバシである。 しかし、FLで使用される勾配更新はユーザー情報を漏洩させる可能性がある。 FLの最も工業的な用途はテキストアプリケーション(例えばキーストローク予測)であるが、FLプライバシーに対する攻撃のほとんど全てが単純な画像分類器に焦点を当てている。 本稿では,悪質なパラメータベクトルを配置することでプライベートなユーザテキストを明らかにし,ミニバッチや複数ユーザ,長いシーケンスでも成功する新しい攻撃を提案する。 以前のfl攻撃とは異なり、この攻撃はトランスフォーマーアーキテクチャとトークン埋め込みの両方の特徴を利用して、トークンと位置埋め込みを分離して高忠実度テキストを取得する。 この研究は、これまでプライバシー攻撃に抵抗してきたテキストのflが、これまで考えられていたよりもはるかに脆弱であることを示唆している。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Privacy Attack in Federated Learning is Not Easy: An Experimental Study [5.065947993017158]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のために提案される分散機械学習のパラダイムである。 近年の研究では、FLはプライバシー保護を完全に保証できないことが示されている。 プライバシ攻撃FLアルゴリズムが現実的なフェデレーション環境で有効かどうかは不明だ。
  論文  参考訳（メタデータ） (2024-09-28T10:06:34Z)
• Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises [4.242342898338019]
  フェデレーテッド・ラーニング(FL)は大規模な機械学習において大きな可能性を秘めているが、プライバシとセキュリティの面で新たなリスクをもたらす。 我々は,ユーザデータをフェデレーターからプライベートに,他のユーザからプライベートに保ちながら,ビザンチンユーザに対してレジリエンスを提供するFLの新しいスキームであるBYITFLを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:37:56Z)
• SaFL: Sybil-aware Federated Learning with Application to Face Recognition [13.914187113334222]
  Federated Learning(FL)は、顧客間で共同学習を行う機械学習パラダイムである。 マイナス面として、FLは研究を開始したばかりのセキュリティとプライバシに関する懸念を提起している。 本稿では,SAFL と呼ばれる FL の毒殺攻撃に対する新しい防御法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T21:06:06Z)
• FLTrojan: Privacy Leakage Attacks against Federated Language Models Through Selective Weight Tampering [2.2194815687410627]
  悪意のあるクライアントが、サーバからの協力なしに、FL内の他のユーザのプライバシーに敏感なデータを漏洩させる方法を示す。 提案手法は, 最大71%の個人データ再構成を達成し, 会員推算率を29%向上させる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:01Z)
• FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving Federated Learning with Byzantine Users [19.209830150036254]
  従来の機械学習パラダイムにおけるデータプライバシの問題を軽減するために、フェデレートラーニング(FL)技術が開発された。 次世代のFLアーキテクチャでは、モデル更新をサーバから保護するための暗号化と匿名化技術が提案されている。 本稿では,完全同型暗号(FHE)に基づく新しいFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T11:20:00Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Fishing for User Data in Large-Batch Federated Learning via Gradient Magnification [65.33308059737506]
  フェデレートラーニング(FL)は、プライバシーと効率性の約束により急速に人気が高まっている。 これまでの作業では、勾配更新からユーザデータを復元することで、FLパイプラインのプライバシの脆弱性が露呈されていた。 我々は、任意のサイズのバッチで運用するために、既存の攻撃を劇的に高める新しい戦略を導入する。
  論文  参考訳（メタデータ） (2022-02-01T17:26:11Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。