論文の概要: Certifiably Robust RAG against Retrieval Corruption

• arxiv url: http://arxiv.org/abs/2405.15556v1
• Date: Fri, 24 May 2024 13:44:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:59:53.554095
• Title: Certifiably Robust RAG against Retrieval Corruption
• Title（参考訳）: 検索破壊に対するRAGの有用性
• Authors: Chong Xiang, Tong Wu, Zexuan Zhong, David Wagner, Danqi Chen, Prateek Mittal,
• Abstract要約: Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。 本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
• 参考スコア（独自算出の注目度）: 58.677292678310934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has been shown vulnerable to retrieval corruption attacks: an attacker can inject malicious passages into retrieval results to induce inaccurate responses. In this paper, we propose RobustRAG as the first defense framework against retrieval corruption attacks. The key insight of RobustRAG is an isolate-then-aggregate strategy: we get LLM responses from each passage in isolation and then securely aggregate these isolated responses. To instantiate RobustRAG, we design keyword-based and decoding-based algorithms for securely aggregating unstructured text responses. Notably, RobustRAG can achieve certifiable robustness: we can formally prove and certify that, for certain queries, RobustRAG can always return accurate responses, even when the attacker has full knowledge of our defense and can arbitrarily inject a small number of malicious passages. We evaluate RobustRAG on open-domain QA and long-form text generation datasets and demonstrate its effectiveness and generalizability across various tasks and datasets.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、悪意のあるパスを検索結果に注入し、不正確な応答を誘導する。 本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。 RobustRAGの重要な洞察は、分離された集合戦略である。各通路からLLM応答を分離し、これらの分離された応答を安全に集約する。 RobustRAGのインスタンス化のために,非構造化テキスト応答を安全に集約するキーワードベースおよびデコードベースのアルゴリズムを設計する。 RobustRAGは、特定のクエリに対して、攻撃者が防御について十分な知識を持っていて、少数の悪意のあるパスを任意に注入しても、常に正確な応答を返すことができることを正式に証明し、証明することができます。 オープンドメインQAおよび長文テキスト生成データセット上でRobostRAGを評価し、その有効性と各種タスクおよびデータセット間の一般化性を示す。

関連論文リスト

• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• SafeRAG: Benchmarking Security in Retrieval-Augmented Generation of Large Language Model [17.046058202577985]
  我々は、RAGセキュリティを評価するために、SafeRAGというベンチマークを導入する。 まず、アタックタスクを銀のノイズ、コンテキスト間競合、ソフト広告、ホワイト・デニアル・オブ・サービスに分類する。 次に、SafeRAGデータセットを使用して、RAGが遭遇する可能性のあるさまざまな攻撃シナリオをシミュレートします。
  論文  参考訳（メタデータ） (2025-01-28T17:01:31Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
  Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。 本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:05Z)
• Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation [0.9217021281095907]
  本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。 本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-05-30T19:46:36Z)
• On Trace of PGD-Like Adversarial Attacks [77.75152218980605]
  敵対的攻撃は、ディープラーニングアプリケーションに対する安全性とセキュリティ上の懸念を引き起こす。 モデルの勾配一貫性を反映した適応応答特性(ARC)特性を構築する。 私たちの方法は直感的で、軽量で、非侵襲的で、データ不要です。
  論文  参考訳（メタデータ） (2022-05-19T14:26:50Z)
• ADC: Adversarial attacks against object Detection that evade Context consistency checks [55.8459119462263]
  文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。 このような防御を覆す実例を生成するための適応型フレームワークを提案する。 我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
  論文  参考訳（メタデータ） (2021-10-24T00:25:09Z)
• Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
  この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。 本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。 実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T07:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。