論文の概要: Mitigating Privacy Risks in LLM Embeddings from Embedding Inversion

• arxiv url: http://arxiv.org/abs/2411.05034v1
• Date: Wed, 06 Nov 2024 14:42:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:57.217134
• Title: Mitigating Privacy Risks in LLM Embeddings from Embedding Inversion
• Title（参考訳）: 埋め込みインバージョンによるLCM埋め込みのプライバシーリスクの軽減
• Authors: Tiantian Liu, Hongwei Yao, Tong Wu, Zhan Qin, Feng Lin, Kui Ren, Chun Chen,
• Abstract要約: 埋め込み型インバージョン攻撃を緩和する新しい防御機構であるEguardを導入する。 当社のアプローチは、高いパフォーマンスを維持しながら95%以上のトークンを反転から保護し、プライバシーリスクを著しく低減します。
• 参考スコア（独自算出の注目度）: 21.83264152003852
• License:
• Abstract: Embeddings have become a cornerstone in the functionality of large language models (LLMs) due to their ability to transform text data into rich, dense numerical representations that capture semantic and syntactic properties. These embedding vector databases serve as the long-term memory of LLMs, enabling efficient handling of a wide range of natural language processing tasks. However, the surge in popularity of embedding vector databases in LLMs has been accompanied by significant concerns about privacy leakage. Embedding vector databases are particularly vulnerable to embedding inversion attacks, where adversaries can exploit the embeddings to reverse-engineer and extract sensitive information from the original text data. Existing defense mechanisms have shown limitations, often struggling to balance security with the performance of downstream tasks. To address these challenges, we introduce Eguard, a novel defense mechanism designed to mitigate embedding inversion attacks. Eguard employs a transformer-based projection network and text mutual information optimization to safeguard embeddings while preserving the utility of LLMs. Our approach significantly reduces privacy risks, protecting over 95% of tokens from inversion while maintaining high performance across downstream tasks consistent with original embeddings.
• Abstract（参考訳）: 埋め込みは、大言語モデル(LLM)の機能において、テキストデータを意味的および構文的性質をキャプチャするリッチで密度の高い数値表現に変換する能力によって、基盤となっている。 これらの埋め込みベクトルデータベースはLLMの長期記憶として機能し、幅広い自然言語処理タスクの効率的な処理を可能にする。 しかし、LLMにベクトルデータベースを組み込む人気が高まっているため、プライバシーの漏洩が懸念されている。 埋め込みベクトルデータベースは、逆エンジニアリングに埋め込みを利用でき、元のテキストデータから機密情報を抽出できる、インバージョン攻撃に対して特に脆弱である。 既存の防御機構は制限を示しており、しばしば下流タスクのパフォーマンスとセキュリティのバランスをとるのに苦労している。 これらの課題に対処するために,埋め込み型インバージョン攻撃を緩和する新しい防御機構であるEguardを導入する。 Eguardはトランスフォーマーベースのプロジェクションネットワークとテキスト相互情報最適化を使用して、LLMの実用性を維持しながら埋め込みを保護している。 当社のアプローチはプライバシーリスクを著しく低減し,95%以上のトークンを逆転から保護するとともに,下流タスク全体のパフォーマンスを元の埋め込みと整合的に維持する。

関連論文リスト

• The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
  新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。 これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。 キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-30T06:55:00Z)
• MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
  大規模言語モデル(LLM)は目覚ましい能力を示している。 その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。 本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
  論文  参考訳（メタデータ） (2024-08-20T10:44:29Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Robustifying Safety-Aligned Large Language Models through Clean Data Curation [11.273749179260468]
  大きな言語モデル(LLM)は、有害なコンテンツを含むデータセットでトレーニングされた場合、脆弱性がある。 本稿では,両シナリオにおける敵対的影響に対処するためのデータキュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:50:38Z)
• Protecting Your LLMs with Information Bottleneck [20.870610473199125]
  本稿では,情報ボトルネック原理に基づく防御機構であるIBProtector(Information Bottleneck Protector)を紹介する。 IBProtectorは、軽量で訓練可能な抽出器によって促進されるプロンプトを選択的に圧縮し、摂動する。 IBProtectorはジェイルブレイク対策において,現在の防御方法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-22T08:16:07Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models [63.91178922306669]
  大規模言語モデル(LLM)に対するテキスト保護機構であるSilent Guardianを紹介する。 保護されるテキストを慎重に修正することで、TPEはLDMを誘導して最初にエンドトークンをサンプリングし、直接相互作用を終了させることができる。 本研究では,SGがターゲットテキストを種々の構成で効果的に保護し,保護成功率の約100%を達成できることを示す。
  論文  参考訳（メタデータ） (2023-12-15T10:30:36Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。