論文の概要: Corpus Poisoning via Approximate Greedy Gradient Descent

• arxiv url: http://arxiv.org/abs/2406.05087v2
• Date: Fri, 25 Oct 2024 03:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 12:02:01.467511
• Title: Corpus Poisoning via Approximate Greedy Gradient Descent
• Title（参考訳）: 近似グリーディグラディエント染料によるコーパス中毒
• Authors: Jinyan Su, Preslav Nakov, Claire Cardie,
• Abstract要約: 本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。 提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
• 参考スコア（独自算出の注目度）: 48.5847914481222
• License:
• Abstract: Dense retrievers are widely used in information retrieval and have also been successfully extended to other knowledge intensive areas such as language models, e.g., Retrieval-Augmented Generation (RAG) systems. Unfortunately, they have recently been shown to be vulnerable to corpus poisoning attacks in which a malicious user injects a small fraction of adversarial passages into the retrieval corpus to trick the system into returning these passages among the top-ranked results for a broad set of user queries. Further study is needed to understand the extent to which these attacks could limit the deployment of dense retrievers in real-world applications. In this work, we propose Approximate Greedy Gradient Descent (AGGD), a new attack on dense retrieval systems based on the widely used HotFlip method for efficiently generating adversarial passages. We demonstrate that AGGD can select a higher quality set of token-level perturbations than HotFlip by replacing its random token sampling with a more structured search. Experimentally, we show that our method achieves a high attack success rate on several datasets and using several retrievers, and can generalize to unseen queries and new domains. Notably, our method is extremely effective in attacking the ANCE retrieval model, achieving attack success rates that are 15.24\% and 17.44\% higher on the NQ and MS MARCO datasets, respectively, compared to HotFlip. Additionally, we demonstrate AGGD's potential to replace HotFlip in other adversarial attacks, such as knowledge poisoning of RAG systems.
• Abstract（参考訳）: デンスレトリバーは情報検索に広く使われており、言語モデル、例えばRetrieval-Augmented Generation (RAG)システムなど他の知識集約領域にも拡張されている。 残念なことに、悪意のあるユーザが少数の敵の通路を検索コーパスに注入し、これらの通路を広範囲のユーザクエリーに対して上位の検索結果から返却するようにシステムを騙すコーパス攻撃に対して脆弱であることが最近判明した。 これらの攻撃が現実世界のアプリケーションにおける密集したレトリバーの展開を制限するかを理解するためには、さらなる研究が必要である。 本研究では,敵対経路を効率よく生成するHotFlip法に基づく高密度検索システムに対する新たな攻撃法であるAGGDを提案する。 ランダムなトークンサンプリングをより構造化された検索に置き換えることで,AGGDはHotFlipよりも高品質なトークンレベルの摂動を選択できることを実証した。 実験により,本手法は,複数のデータセットとレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。 特に,本手法は,NQ および MS MARCO データセットの攻撃成功率を HotFlip と比較して 15.24 % と 17.44 % と高めることができる。 さらに,AGGD が HotFlip に取って代わる可能性を示した。

関連論文リスト

• Backdoored Retrievers for Prompt Injection Attacks on Retrieval Augmented Generation of Large Language Models [0.0]
  Retrieval Augmented Generation (RAG)は、大規模言語モデルと最新の情報検索を組み合わせることでこの問題に対処する。 本稿では、誤報以外の有害な目的に焦点をあて、RAGに対する即時注射攻撃について検討する。 我々は,既存のコーパス中毒技術を構築し,高密度レトリバー部品の微調整を目的とした新しいバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2024-10-18T14:02:34Z)
• On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains [34.122040172188406]
  Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。 医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。 我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
  論文  参考訳（メタデータ） (2024-09-12T02:43:40Z)
• Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
  Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。 本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:05Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Poisoning Retrieval Corpora by Injecting Adversarial Passages [79.14287273842878]
  本稿では,悪意のあるユーザが少数の逆行を発生させるような,高密度検索システムに対する新たな攻撃を提案する。 これらの逆行路を大規模な検索コーパスに挿入すると、この攻撃はこれらのシステムを騙すのに非常に効果的であることを示す。 また、教師なしと教師なしの両方の最先端の高密度レトリバーをベンチマークし、比較する。
  論文  参考訳（メタデータ） (2023-10-29T21:13:31Z)
• Towards Efficient and Domain-Agnostic Evasion Attack with High-dimensional Categorical Inputs [33.36532022853583]
  本研究の目的は,ドメインに依存しない領域において,高次元のカテゴリー入力を持つ摂動を攻撃可能な逆方向を探索することである。 提案手法は,マルチアームバンディットプログラミングにおいて,各カテゴリ機能の変更を腕を引くものとして扱う。 本研究は,高次元カテゴリ入力を用いた分類システムの逆脆弱性評価におけるFEATの適用性をさらに示唆するものである。
  論文  参考訳（メタデータ） (2022-12-13T18:45:00Z)
• Multi-Expert Adversarial Attack Detection in Person Re-identification Using Context Inconsistency [47.719533482898306]
  本稿では,個人再識別(ReID)システムに対する悪意のある攻撃を検知するための,Multi-Expert Adversarial Detection(MEAAD)アプローチを提案する。 ReIDに対する最初の敵攻撃検出アプローチとして、MEAADは様々な敵攻撃を効果的に検出し、高いROC-AUC(97.5%以上)を達成する。
  論文  参考訳（メタデータ） (2021-08-23T01:59:09Z)
• Towards Transferable Adversarial Attack against Deep Face Recognition [58.07786010689529]
  ディープ畳み込みニューラルネットワーク(DCNN)は敵の例に弱いことが判明した。 転送可能な敵の例は、DCNNの堅牢性を著しく妨げます。 DFANetは畳み込み層で使用されるドロップアウトベースの手法であり,サロゲートモデルの多様性を高めることができる。 クエリなしで4つの商用APIをうまく攻撃できる新しい対向顔ペアを生成します。
  論文  参考訳（メタデータ） (2020-04-13T06:44:33Z)
• Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking [83.48804199140758]
  システム出力のランキングを乱す学習とミスランクの定式化を提案する。 また,新たなマルチステージネットワークアーキテクチャを開発することで,バックボックス攻撃を行う。 そこで本手法では, 異なるマルチショットサンプリングにより, 悪意のある画素数を制御することができる。
  論文  参考訳（メタデータ） (2020-04-08T18:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。