論文の概要: Information Leakage from Embedding in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.11916v1
• Date: Mon, 20 May 2024 09:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:34:30.818287
• Title: Information Leakage from Embedding in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける埋め込みからの情報漏洩
• Authors: Zhipeng Wang, Anda Cheng, Yinggui Wang, Lei Wang,
• Abstract要約: 本研究では,入力再構成攻撃によるプライバシー侵害の可能性を検討することを目的とする。 まず,モデルの隠れ状態からオリジナルテキストを再構築する2つの基本手法を提案する。 次に、トランスフォーマーをベースとしたEmbed Parrotを提案し、深層への埋め込みから入力を再構築する。
• 参考スコア（独自算出の注目度）: 6.4263682510910725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread adoption of large language models (LLMs) has raised concerns regarding data privacy. This study aims to investigate the potential for privacy invasion through input reconstruction attacks, in which a malicious model provider could potentially recover user inputs from embeddings. We first propose two base methods to reconstruct original texts from a model's hidden states. We find that these two methods are effective in attacking the embeddings from shallow layers, but their effectiveness decreases when attacking embeddings from deeper layers. To address this issue, we then present Embed Parrot, a Transformer-based method, to reconstruct input from embeddings in deep layers. Our analysis reveals that Embed Parrot effectively reconstructs original inputs from the hidden states of ChatGLM-6B and Llama2-7B, showcasing stable performance across various token lengths and data distributions. To mitigate the risk of privacy breaches, we introduce a defense mechanism to deter exploitation of the embedding reconstruction process. Our findings emphasize the importance of safeguarding user privacy in distributed learning systems and contribute valuable insights to enhance the security protocols within such environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及により、データのプライバシに関する懸念が高まっている。 本研究の目的は,悪意のあるモデルプロバイダが埋め込みからユーザ入力を回復する可能性のある,入力再構成攻撃によるプライバシー侵害の可能性を検討することである。 まず,モデルの隠れ状態からオリジナルテキストを再構築する2つの基本手法を提案する。 これら2つの手法は, 浅い層からの埋め込み攻撃に有効であるが, より深い層からの埋め込み攻撃では効果が低下することがわかった。 この問題に対処するため,Transformer ベースの Embed Parrot を提案し,深層への埋め込みから入力を再構築する。 解析の結果,ChatGLM-6BとLlama2-7Bの隠れ状態からの入力を効果的に再構成し,トークン長やデータ分布の安定な性能を示すことがわかった。 プライバシー侵害のリスクを軽減するため,埋め込み再構築プロセスの悪用を防ぐ防衛機構を導入する。 本研究は,分散学習システムにおけるユーザプライバシ保護の重要性を強調し,そのような環境におけるセキュリティプロトコルの強化に有用な洞察を提供する。

関連論文リスト

• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Defending against Data Poisoning Attacks in Federated Learning via User Elimination [0.0]
  本稿では,フェデレーションモデルにおける敵ユーザの戦略的排除に焦点を当てた,新たなフレームワークを提案する。 我々は、ローカルトレーニングインスタンスが収集したメタデータと差分プライバシー技術を統合することにより、フェデレートアルゴリズムのアグリゲーションフェーズにおける異常を検出する。 提案手法の有効性を実証し,ユーザのプライバシとモデル性能を維持しながらデータ汚染のリスクを大幅に軽減する。
  論文  参考訳（メタデータ） (2024-04-19T10:36:00Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Visual Privacy Auditing with Diffusion Models [52.866433097406656]
  本稿では,拡散モデル(DM)に基づくリコンストラクション攻撃を提案する。 本研究では,(1)実世界のデータ漏洩が再建の成功に大きく影響すること,(2)現在のリビルド境界がデータ先行によるリスクをうまくモデル化していないこと,(3)DMは,プライバシー漏洩を可視化するための効果的な監査ツールとして機能すること,を示す。
  論文  参考訳（メタデータ） (2024-03-12T12:18:55Z)
• Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems [28.175920880194223]
  本稿では,Vec2Textによるテキスト復元に影響を及ぼすであろう埋め込みモデルに関連する要因について検討する。 本稿では,回復可能性リスクを軽減しつつ,均等なランク付けを保証できる簡易な埋め込み変換修正法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T07:49:30Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)
• Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
  本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。 本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。 また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
  論文  参考訳（メタデータ） (2022-01-04T04:01:05Z)
• Federated Deep Learning with Bayesian Privacy [28.99404058773532]
  フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。 ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。 差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
  論文  参考訳（メタデータ） (2021-09-27T12:48:40Z)
• Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks [31.34410250008759]
  本稿では、モデル精度と、再構築、追跡、およびメンバーシップ攻撃によるプライバシ損失とのトレードオフを計測する。 実験の結果,モデル精度はベースライン機構と比較して平均5～20%向上した。
  論文  参考訳（メタデータ） (2020-06-20T15:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。