論文の概要: Embedding Inference Attack
- arxiv url: http://arxiv.org/abs/2607.01276v1
- Date: Wed, 01 Jul 2026 02:56:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.519295
- Title: Embedding Inference Attack
- Title(参考訳): 推論攻撃の埋め込み
- Authors: Cedric Fitiavana Raelijohn, Sébastien Gambs, Jean-Francois Rajotte,
- Abstract要約: 埋め込みモデルは、現代の情報検索(IR)システムにおいて不可欠な要素である。
近年の研究では、高密度IRシステムがインバージョンアタックの埋め込みなどのセキュリティ上の脆弱性につながることが示されている。
調整されたクエリによって、既知のモデル候補の集合からどの埋め込みモデルが使われているのかを、相手が特定できることが示される。
- 参考スコア(独自算出の注目度): 2.7320009679742845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding models are essential components of modern Information Retrieval (IR) systems, yet they are typically hidden behind APIs. Recent works have shown that dense IR system can lead to security vulnerabilities such as embedding inversion attacks. However, such attacks usually require that the attacker knows the embedding model for the attack to be applicable. In this paper, we study IR systems under a black-box setting in which the adversary observes only the unordered set of retrieved documents, without ranking or similarity scores. We demonstrate that in such contexts, tailored queries allow an adversary to identify which embedding model is in use from a set of known model candidate, which we coin as an embedding inference attack (EIA). We also show that certain queries remain discriminative even when the system includes a reranker as a potential defense mechanism. We further validate our method on a real Retrieval-Augmented Generation (RAG) system, in which the tailored queries bypass the LLM's tendency to reject inputs it does not recognize as well-formed questions. Finally, we propose and evaluate other mitigation strategies such as similarity thresholds.
- Abstract(参考訳): 埋め込みモデルは現代の情報検索(IR)システムの必須コンポーネントであるが、一般的にはAPIの背後に隠されている。
近年の研究では、高密度IRシステムがインバージョンアタックの埋め込みなどのセキュリティ上の脆弱性につながることが示されている。
しかし、そのような攻撃は通常、攻撃者は攻撃が適用可能な埋め込みモデルを知っている必要がある。
本稿では,検索した文書の順序のない集合のみを、ランキングや類似度スコアなしで観察するブラックボックス環境下でのIRシステムについて検討する。
このような状況下では、適切なクエリによって、敵が既知のモデル候補の集合からどの埋め込みモデルを使用しているかを特定することができ、それを埋め込み推論攻撃(EIA)と定義する。
また,リランカを潜在的な防御機構として含む場合においても,特定のクエリが識別可能であることを示す。
提案手法は,LLMがよく認識されていない入力を拒否する傾向を回避し,提案手法をRAG(Retrieval-Augmented Generation)システムで検証する。
最後に、類似度閾値などの他の緩和戦略を提案し、評価する。
関連論文リスト
- Prompt-Unknown Promotion Attacks against LLM-based Sequential Recommender Systems [51.504307822017985]
大規模言語モデルを用いたシーケンシャルレコメンデータシステム(LLM-SRS)は,最近顕著な性能を示した。
本稿では, LLM-SRSにおけるアイテムプロモーション攻撃について, 攻撃者に対してシステムプロンプトと被害者モデルの両方が未知な状況下で, より現実的な状況下で検討する。
論文 参考訳(メタデータ) (2026-04-26T10:09:26Z) - "Someone Hid It": Query-Agnostic Black-Box Attacks on LLM-Based Retrieval [44.49026453970601]
大規模言語モデル(LLM)は,検索システムにおいて有効なバックボーンとして機能している。
近年の研究では、LDMをベースとしたRetrievalは敵の攻撃に弱いことが示されている。
ゼロショットサロゲートLPMをベースとした転送可能なインジェクショントークンを生成する実用的なブラックボックス攻撃法を提案する。
論文 参考訳(メタデータ) (2026-01-30T22:28:04Z) - The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。
このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。
本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
論文 参考訳(メタデータ) (2025-05-24T08:19:25Z) - POISONCRAFT: Practical Poisoning of Retrieval-Augmented Generation for Large Language Models [4.620537391830117]
大型言語モデル(LLM)は幻覚の影響を受けやすいため、誤った結果や誤解を招く可能性がある。
Retrieval-augmented Generation (RAG) は、外部知識源を活用することで幻覚を緩和する有望なアプローチである。
本稿では,POISONCRAFTと呼ばれるRAGシステムに対する中毒攻撃について検討する。
論文 参考訳(メタデータ) (2025-05-10T09:36:28Z) - AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。
我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。
また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
論文 参考訳(メタデータ) (2024-08-04T09:53:50Z) - Generating Is Believing: Membership Inference Attacks against Retrieval-Augmented Generation [9.73190366574692]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚や知識の安定化といった問題を緩和する手法である。
既存の研究では、RAGのLCMに関連する潜在的なプライバシーリスクが示されている。
S$2$MIA, underlineMembership underlineInference underlineAttack, which uses the underlineSemantic underlineSimilarity between a given sample and the content generated by the RAG system。
論文 参考訳(メタデータ) (2024-06-27T14:58:38Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - ExAD: An Ensemble Approach for Explanation-based Adversarial Detection [17.455233006559734]
説明手法のアンサンブルを用いて逆例を検出するフレームワークであるExADを提案する。
3つの画像データセットに対する6つの最先端の敵攻撃によるアプローチの評価を行った。
論文 参考訳(メタデータ) (2021-03-22T00:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。