論文の概要: Poisoning Retrieval Corpora by Injecting Adversarial Passages
- arxiv url: http://arxiv.org/abs/2310.19156v1
- Date: Sun, 29 Oct 2023 21:13:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 13:58:24.858693
- Title: Poisoning Retrieval Corpora by Injecting Adversarial Passages
- Title(参考訳): 逆行路注入による中毒検索コーパス
- Authors: Zexuan Zhong, Ziqing Huang, Alexander Wettig, Danqi Chen
- Abstract要約: 本稿では,悪意のあるユーザが少数の逆行を発生させるような,高密度検索システムに対する新たな攻撃を提案する。
これらの逆行路を大規模な検索コーパスに挿入すると、この攻撃はこれらのシステムを騙すのに非常に効果的であることを示す。
また、教師なしと教師なしの両方の最先端の高密度レトリバーをベンチマークし、比較する。
- 参考スコア(独自算出の注目度): 79.14287273842878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dense retrievers have achieved state-of-the-art performance in various
information retrieval tasks, but to what extent can they be safely deployed in
real-world applications? In this work, we propose a novel attack for dense
retrieval systems in which a malicious user generates a small number of
adversarial passages by perturbing discrete tokens to maximize similarity with
a provided set of training queries. When these adversarial passages are
inserted into a large retrieval corpus, we show that this attack is highly
effective in fooling these systems to retrieve them for queries that were not
seen by the attacker. More surprisingly, these adversarial passages can
directly generalize to out-of-domain queries and corpora with a high success
attack rate -- for instance, we find that 50 generated passages optimized on
Natural Questions can mislead >94% of questions posed in financial documents or
online forums. We also benchmark and compare a range of state-of-the-art dense
retrievers, both unsupervised and supervised. Although different systems
exhibit varying levels of vulnerability, we show they can all be successfully
attacked by injecting up to 500 passages, a small fraction compared to a
retrieval corpus of millions of passages.
- Abstract(参考訳): デンスレトリバーは様々な情報検索タスクで最先端のパフォーマンスを達成したが、実際のアプリケーションに安全にデプロイできる範囲はどの程度あるのか?
本研究では,悪意のあるユーザが個別のトークンを摂り込み,与えられたトレーニングクエリのセットと類似性を最大化することにより,少数の逆パスを発生させる,高密度検索システムに対する新たな攻撃を提案する。
これらの逆通路を大規模な検索コーパスに挿入すると,攻撃者が見なかったクエリに対して,これらのシステムを騙して検索する上で,この攻撃が極めて効果的であることが分かる。
さらに驚くべきことに、これらの逆行はドメイン外のクエリやコーパスに直接一般化して、高い攻撃率で実行することが可能です。例えば、Nature Questionsに最適化された50の生成されたパスは、財務文書やオンラインフォーラムで提起された質問の94%を誤解させる可能性があるのです。
また、教師なしと教師なしの両方の最先端の高密度検索をベンチマークし比較する。
異なるシステムは様々なレベルの脆弱性を示すが、最大500のパスを注入することで、数百万のパスの検索コーパスと比較して、攻撃に成功できることを示す。
関連論文リスト
- Backdoor Attacks on Dense Passage Retrievers for Disseminating
Misinformation [40.131588857153275]
本稿では,攻撃者が対象の誤情報を検索システムを通じて隠蔽的に拡散することを目的とした,新たなシナリオを提案する。
そこで本研究では,高密度経路探索における文法誤差に起因したバックドア攻撃を提案する。
我々のアプローチは、攻撃されたモデルが通常のクエリに対して正常に機能することを保証しますが、攻撃者が指定したパスを返すように操作されます。
論文 参考訳(メタデータ) (2024-02-21T05:03:07Z) - Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and
Baseline via Detection [12.244543468021938]
本稿では,敵対的文書に対する2種類の検出タスクを提案する。
敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。
いくつかの検出基準線の性能を総合的に調査する。
論文 参考訳(メタデータ) (2023-07-31T16:31:24Z) - Among Us: Adversarially Robust Collaborative Perception by Consensus [50.73128191202585]
複数のロボットは、シーン(例えば物体)を個人よりも協調的に知覚することができる。
本稿では,未知の攻撃者に対して一般化可能な新しいサンプリングベース防衛戦略であるROBOSACを提案する。
自律運転シナリオにおける協調3次元物体検出の課題に対して,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-03-16T17:15:25Z) - Defending Against Disinformation Attacks in Open-Domain Question
Answering [39.22018783998232]
探索収集の敵の毒殺は 生産システムの精度を大幅に低下させます
そこで本研究では,クエリ拡張を用いて,元の質問に答えられるが有毒である可能性が低い多種多様なパスを探索する手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T05:25:01Z) - A Simple Yet Efficient Method for Adversarial Word-Substitute Attack [30.445201832698192]
本稿では, 逆クエリの平均回数を3~30倍に削減する, 単純かつ効率的な手法を提案する。
この研究は、敵がより少ないコストで深いNLPモデルを騙すことができることを強調している。
論文 参考訳(メタデータ) (2022-05-07T14:20:57Z) - Zero-Query Transfer Attacks on Context-Aware Object Detectors [95.18656036716972]
敵は、ディープニューラルネットワークが誤った分類結果を生成するような摂動画像を攻撃する。
自然の多目的シーンに対する敵対的攻撃を防御するための有望なアプローチは、文脈整合性チェックを課すことである。
本稿では,コンテキスト整合性チェックを回避可能な,コンテキスト整合性攻撃を生成するための最初のアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-29T04:33:06Z) - Adversarial Defense for Automatic Speaker Verification by
Self-Supervised Learning [101.42920161993455]
この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。
本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。
実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
論文 参考訳(メタデータ) (2021-06-01T07:10:54Z) - Adversarial Threats to DeepFake Detection: A Practical Perspective [12.611342984880826]
本稿では,最先端のDeepFake検出手法の脆弱性を実用的観点から検討する。
我々は、非常に現実的な攻撃シナリオを示すUniversal Adversarial Perturbationsを用いて、よりアクセスしやすい攻撃を作成する。
論文 参考訳(メタデータ) (2020-11-19T16:53:38Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z) - Reliable evaluation of adversarial robustness with an ensemble of
diverse parameter-free attacks [65.20660287833537]
本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。
そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
論文 参考訳(メタデータ) (2020-03-03T18:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。