論文の概要: Does Vec2Text Pose a New Corpus Poisoning Threat?
- arxiv url: http://arxiv.org/abs/2410.06628v1
- Date: Wed, 09 Oct 2024 07:23:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 13:33:11.073857
- Title: Does Vec2Text Pose a New Corpus Poisoning Threat?
- Title(参考訳): Vec2Textは新たなコーポレーションを脅かすか?
- Authors: Shengyao Zhuang, Bevan Koopman, Guido Zuccon,
- Abstract要約: Vec2Text – テキスト埋め込みインバージョンのためのメソッド – は、高密度検索システムに対する深刻なプライバシー上の懸念を提起している。
本稿では、Vec2Textを新たに検討し、コーパス中毒に対する脅威の程度について検討する。
特定の条件下では、Vec2Textによるコーパス中毒は、密集した検索システムの完全性とユーザエクスペリエンスに深刻な脅威をもたらす可能性があることを示す。
- 参考スコア(独自算出の注目度): 30.78016941725723
- License:
- Abstract: The emergence of Vec2Text -- a method for text embedding inversion -- has raised serious privacy concerns for dense retrieval systems which use text embeddings. This threat comes from the ability for an attacker with access to embeddings to reconstruct the original text. In this paper, we take a new look at Vec2Text and investigate how much of a threat it poses to the different attacks of corpus poisoning, whereby an attacker injects adversarial passages into a retrieval corpus with the intention of misleading dense retrievers. Theoretically, Vec2Text is far more dangerous than previous attack methods because it does not need access to the embedding model's weights and it can efficiently generate many adversarial passages. We show that under certain conditions, corpus poisoning with Vec2Text can pose a serious threat to dense retriever system integrity and user experience by injecting adversarial passaged into top ranked positions. Code and data are made available at https://github.com/ielab/vec2text-corpus-poisoning
- Abstract(参考訳): テキスト埋め込みのインバージョン手法であるVec2Textの出現は、テキスト埋め込みを使用する高密度検索システムに対して、深刻なプライバシー上の懸念を提起している。
この脅威は、アタッカーが埋め込みにアクセスして元のテキストを再構築する能力に起因している。
本稿では,Vec2Textを新たに検討し,攻撃者が検索コーパスに敵の通路を注入し,密集した検索コーパスを誤解させるような攻撃に対する脅威について検討する。
理論的には、Vec2Textは従来の攻撃方法よりもはるかに危険である。
特定の条件下では、Vec2Textによるコーパス中毒は、上位の位置に逆行路を注入することで、密集した検索システムの整合性とユーザエクスペリエンスに深刻な脅威をもたらす可能性がある。
コードとデータはhttps://github.com/ielab/vec2text-corpus-poisoningで公開されている。
関連論文リスト
- Backdoored Retrievers for Prompt Injection Attacks on Retrieval Augmented Generation of Large Language Models [0.0]
Retrieval Augmented Generation (RAG)は、大規模言語モデルと最新の情報検索を組み合わせることでこの問題に対処する。
本稿では、誤報以外の有害な目的に焦点をあて、RAGに対する即時注射攻撃について検討する。
我々は,既存のコーパス中毒技術を構築し,高密度レトリバー部品の微調整を目的とした新しいバックドアアタックを提案する。
論文 参考訳(メタデータ) (2024-10-18T14:02:34Z) - Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems [28.175920880194223]
本稿では,Vec2Textによるテキスト復元に影響を及ぼすであろう埋め込みモデルに関連する要因について検討する。
本稿では,回復可能性リスクを軽減しつつ,均等なランク付けを保証できる簡易な埋め込み変換修正法を提案する。
論文 参考訳(メタデータ) (2024-02-20T07:49:30Z) - OrderBkd: Textual backdoor attack through repositioning [0.0]
サードパーティのデータセットと事前トレーニングされた機械学習モデルは、NLPシステムに脅威をもたらす。
既存のバックドア攻撃は、トークンの挿入や文のパラフレーズなどのデータサンプルを毒殺する。
これまでの研究との大きな違いは、文中の2つの単語の配置をトリガーとして使うことです。
論文 参考訳(メタデータ) (2024-02-12T14:53:37Z) - Poisoning Retrieval Corpora by Injecting Adversarial Passages [79.14287273842878]
本稿では,悪意のあるユーザが少数の逆行を発生させるような,高密度検索システムに対する新たな攻撃を提案する。
これらの逆行路を大規模な検索コーパスに挿入すると、この攻撃はこれらのシステムを騙すのに非常に効果的であることを示す。
また、教師なしと教師なしの両方の最先端の高密度レトリバーをベンチマークし、比較する。
論文 参考訳(メタデータ) (2023-10-29T21:13:31Z) - Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。
我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
論文 参考訳(メタデータ) (2022-12-20T18:09:52Z) - Zero-Query Transfer Attacks on Context-Aware Object Detectors [95.18656036716972]
敵は、ディープニューラルネットワークが誤った分類結果を生成するような摂動画像を攻撃する。
自然の多目的シーンに対する敵対的攻撃を防御するための有望なアプローチは、文脈整合性チェックを課すことである。
本稿では,コンテキスト整合性チェックを回避可能な,コンテキスト整合性攻撃を生成するための最初のアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-29T04:33:06Z) - Robust and Verifiable Information Embedding Attacks to Deep Neural
Networks via Error-Correcting Codes [81.85509264573948]
ディープラーニングの時代、ユーザは、サードパーティの機械学習ツールを使用して、ディープニューラルネットワーク(DNN)分類器をトレーニングすることが多い。
情報埋め込み攻撃では、攻撃者は悪意のあるサードパーティの機械学習ツールを提供する。
本研究では,一般的なポストプロセッシング手法に対して検証可能で堅牢な情報埋め込み攻撃を設計することを目的とする。
論文 参考訳(メタデータ) (2020-10-26T17:42:42Z) - Poison Attacks against Text Datasets with Conditional Adversarially
Regularized Autoencoder [78.01180944665089]
本稿では,自然言語推論(NLI)とテキスト分類システムにおいて致命的な脆弱性を示す。
我々はNLPモデルに対する「バックドア中毒」攻撃を提示する。
論文 参考訳(メタデータ) (2020-10-06T13:03:49Z) - Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning [29.181547214915238]
埋め込み空間における単語の位置を変更することで、攻撃者が新しい単語や既存の単語の「意味」を制御できることが示される。
埋め込みに対する攻撃は、さまざまな下流タスクに影響を与える可能性がある。
論文 参考訳(メタデータ) (2020-01-14T17:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。