論文の概要: Stealing Training Data from Large Language Models in Decentralized Training through Activation Inversion Attack

• arxiv url: http://arxiv.org/abs/2502.16086v1
• Date: Sat, 22 Feb 2025 05:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:51:32.963641
• Title: Stealing Training Data from Large Language Models in Decentralized Training through Activation Inversion Attack
• Title（参考訳）: アクティベーション・インバージョン・アタックによる分散型学習における大規模言語モデルからの学習データのステアリング
• Authors: Chenxi Dai, Lin Lu, Pan Zhou,
• Abstract要約: 分散トレーニングは、大規模言語モデル(LLM)のトレーニングを民主化する、リソース効率のよいフレームワークになっている。 本稿では、分散トレーニングにおけるトレーニングデータからのプライバシー漏洩という、新しくて現実的な攻撃面を特定する。
• 参考スコア（独自算出の注目度）: 53.823990570014494
• License:
• Abstract: Decentralized training has become a resource-efficient framework to democratize the training of large language models (LLMs). However, the privacy risks associated with this framework, particularly due to the potential inclusion of sensitive data in training datasets, remain unexplored. This paper identifies a novel and realistic attack surface: the privacy leakage from training data in decentralized training, and proposes \textit{activation inversion attack} (AIA) for the first time. AIA first constructs a shadow dataset comprising text labels and corresponding activations using public datasets. Leveraging this dataset, an attack model can be trained to reconstruct the training data from activations in victim decentralized training. We conduct extensive experiments on various LLMs and publicly available datasets to demonstrate the susceptibility of decentralized training to AIA. These findings highlight the urgent need to enhance security measures in decentralized training to mitigate privacy risks in training LLMs.
• Abstract（参考訳）: 分散トレーニングは、大規模言語モデル(LLM)のトレーニングを民主化する、リソース効率のよいフレームワークになっている。 しかし、このフレームワークに関連するプライバシーリスク、特にトレーニングデータセットにセンシティブなデータが組み込まれる可能性があるため、まだ解明されていない。 本稿では,分散トレーニングにおけるトレーニングデータからのプライバシ漏洩という,新規で現実的な攻撃面を特定し,初めて<textit{activation inversion attack} (AIA)を提案する。 AIAはまず、テキストラベルと対応するアクティベーションを含むシャドーデータセットをパブリックデータセットを使用して構築する。 このデータセットを活用することで、攻撃モデルをトレーニングして、被害者の分散トレーニングにおけるアクティベーションからトレーニングデータを再構築することが可能になる。 各種LLMおよび公開データセットに関する広範な実験を行い、AIAに対する分散トレーニングの受容可能性を示す。 これらの知見は、LLMのトレーニングにおけるプライバシーリスクを軽減するために、分散トレーニングにおけるセキュリティ対策を強化する緊急の必要性を浮き彫りにしている。

関連論文リスト

• FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
  フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。 近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。 本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
  論文  参考訳（メタデータ） (2024-11-05T11:42:26Z)
• Lancelot: Towards Efficient and Privacy-Preserving Byzantine-Robust Federated Learning within Fully Homomorphic Encryption [10.685816010576918]
  我々は,データプライバシを保ちながら悪意あるクライアント活動を保護するために,完全同型暗号化(FHE)を利用する,革新的で計算効率のよいBRFLフレームワークであるLancelotを提案する。 医用画像診断や広く使われている公開画像データセットを含む大規模なテストでは、Lancelotが既存の手法を著しく上回り、データのプライバシを維持しながら、処理速度を20倍以上に向上させています。
  論文  参考訳（メタデータ） (2024-08-12T14:48:25Z)
• Defending against Data Poisoning Attacks in Federated Learning via User Elimination [0.0]
  本稿では,フェデレーションモデルにおける敵ユーザの戦略的排除に焦点を当てた,新たなフレームワークを提案する。 我々は、ローカルトレーニングインスタンスが収集したメタデータと差分プライバシー技術を統合することにより、フェデレートアルゴリズムのアグリゲーションフェーズにおける異常を検出する。 提案手法の有効性を実証し,ユーザのプライバシとモデル性能を維持しながらデータ汚染のリスクを大幅に軽減する。
  論文  参考訳（メタデータ） (2024-04-19T10:36:00Z)
• Leak and Learn: An Attacker's Cookbook to Train Using Leaked Data from Federated Learning [4.533760678036969]
  フェデレートラーニング(Federated Learning)は、クライアントデータのプライバシを保護するために導入された分散学習パラダイムである。 以前の研究によると、攻撃者はクライアントのアップデートだけを使用してプライベートなトレーニングデータを再構築できる。 我々は、トレーニングレンズによるデータ再構成攻撃を調査し、漏洩したデータを用いてモデルを改善する。
  論文  参考訳（メタデータ） (2024-03-26T23:05:24Z)
• Membership Information Leakage in Federated Contrastive Learning [7.822625013699216]
  Federated Contrastive Learning (FCL) は、分散化されたラベルなしデータから学ぶための急成長するアプローチである。 FCLは、メンバーシップ情報漏洩など、その分散特性から生じるプライバシーリスクに影響を受けやすい。 本研究は、FCLに対するメンバシップ推論攻撃の実行可能性について検討し、ロバスト攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-03-06T19:53:25Z)
• Amplifying Training Data Exposure through Fine-Tuning with Pseudo-Labeled Memberships [3.544065185401289]
  ニューラルネットワークモデル(LM)は、データ記憶によるデータ抽出攻撃のトレーニングに脆弱である。 本稿では,攻撃者がトレーニング済みのLMを微調整して,元のトレーニングデータの露出を増幅する,新たな攻撃シナリオを提案する。 1B以上のパラメータを持つLMは、トレーニングデータ露出の4倍から8倍の増大を示す。
  論文  参考訳（メタデータ） (2024-02-19T14:52:50Z)
• Exploring the Robustness of Decentralized Training for Large Language Models [51.41850749014054]
  大規模な言語モデルの分散トレーニングは、この技術を民主化するための効果的な方法として現れてきた。 本稿では,3つの主要な視点から,分散学習の堅牢性について考察する。
  論文  参考訳（メタデータ） (2023-12-01T04:04:03Z)
• Transferable Unlearnable Examples [63.64357484690254]
  第三者が許可なくデータのトレーニングを行うのを防ぐために、学べない戦略が導入された。 公開前にユーザーのデータに摂動を追加することで、公開データセットでトレーニングされたモデルを無効にすることを目指している。 本稿では、学習不可能な効果を他のトレーニング設定やデータセットに伝達することを目的とした、クラスワイズ・セパビリティ・ディミナント(CSD)に基づく新しい学習不可能な戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-18T19:23:52Z)
• Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses [150.64470864162556]
  この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。 様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
  論文  参考訳（メタデータ） (2020-12-18T22:38:47Z)
• Toward Smart Security Enhancement of Federated Learning Networks [109.20054130698797]
  本稿では,フェデレートラーニングネットワーク(FLN)の脆弱性について概説し,毒殺攻撃の概要を紹介する。 FLNのためのスマートセキュリティ強化フレームワークを提案する。 深層強化学習は、良質なトレーニング結果を提供するエッジデバイス(ED)の挙動パターンを学ぶために応用される。
  論文  参考訳（メタデータ） (2020-08-19T08:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。