論文の概要: Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks
- arxiv url: http://arxiv.org/abs/2408.05025v2
- Date: Mon, 12 Aug 2024 13:57:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 19:54:11.795732
- Title: Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks
- Title（参考訳）: Rag and Roll: LLMベースのアプリケーションフレームワークにおける間接プロンプト操作のエンドツーエンド評価
- Authors: Gianluca De Stefano, Lea Schönherr, Giancarlo Pellegrino,
- Abstract要約: Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。
本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
- 参考スコア（独自算出の注目度）: 12.061098193438022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval Augmented Generation (RAG) is a technique commonly used to equip models with out of distribution knowledge. This process involves collecting, indexing, retrieving, and providing information to an LLM for generating responses. Despite its growing popularity due to its flexibility and low cost, the security implications of RAG have not been extensively studied. The data for such systems are often collected from public sources, providing an attacker a gateway for indirect prompt injections to manipulate the responses of the model. In this paper, we investigate the security of RAG systems against end-to-end indirect prompt manipulations. First, we review existing RAG framework pipelines, deriving a prototypical architecture and identifying critical parameters. We then examine prior works searching for techniques that attackers can use to perform indirect prompt manipulations. Finally, we implemented Rag 'n Roll, a framework to determine the effectiveness of attacks against end-to-end RAG applications. Our results show that existing attacks are mostly optimized to boost the ranking of malicious documents during the retrieval phase. However, a higher rank does not immediately translate into a reliable attack. Most attacks, against various configurations, settle around a 40% success rate, which could rise to 60% when considering ambiguous answers as successful attacks (those that include the expected benign one as well). Additionally, when using unoptimized documents, attackers deploying two of them (or more) for a target query can achieve similar results as those using optimized ones. Finally, exploration of the configuration space of a RAG showed limited impact in thwarting the attacks, where the most successful combination severely undermines functionality.
- Abstract（参考訳）: Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。
このプロセスは、応答を生成するためのLLMへの情報収集、インデックス化、検索、提供を含む。
柔軟性と低コストで人気が高まっているにもかかわらず、RAGのセキュリティへの影響は広く研究されていない。
このようなシステムのデータは、しばしば公開ソースから収集され、攻撃者がモデルの応答を操作する間接的なインジェクションのゲートウェイを提供する。
本稿では,RAGシステムのエンドツーエンドの間接的操作に対する安全性について検討する。
まず、既存のRAGフレームワークパイプラインをレビューし、プロトタイプアーキテクチャを導出し、クリティカルパラメータを識別する。
次に、攻撃者が間接的なプロンプト操作を行うために使用できるテクニックを探索する先行作業について検討する。
最後に、エンドツーエンドのRAGアプリケーションに対する攻撃の有効性を決定するためのフレームワークであるRag 'n Rollを実装した。
その結果,既存の攻撃は検索期間中に悪意のある文書のランキングを上げるために最適化されていることがわかった。
しかし、上位は直ちに信頼できる攻撃にはならない。
ほとんどの攻撃は、様々な構成に対して、40%の成功率に落ち着き、不明瞭な回答を攻撃として考えると60%に上昇する可能性がある。
さらに、最適化されていないドキュメントを使用する場合、ターゲットクエリに2つ(あるいはそれ以上)をデプロイするアタッカーは、最適化されたドキュメントと同じ結果が得られる。
最後に、RAGの構成空間の探索は、最も成功した組み合わせが機能を著しく損なう攻撃の阻止に限られた影響を示した。
関連論文リスト
- SafeRAG: Benchmarking Security in Retrieval-Augmented Generation of Large Language Model [17.046058202577985]
我々は、RAGセキュリティを評価するために、SafeRAGというベンチマークを導入する。
まず、アタックタスクを銀のノイズ、コンテキスト間競合、ソフト広告、ホワイト・デニアル・オブ・サービスに分類する。
次に、SafeRAGデータセットを使用して、RAGが遭遇する可能性のあるさまざまな攻撃シナリオをシミュレートします。
論文 参考訳（メタデータ） (2025-01-28T17:01:31Z) - Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - FlipedRAG: Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models [19.41533176888415]
Retrieval-Augmented Generation (RAG)は、知識データベースから関連する情報を動的に取得することで、幻覚とリアルタイムの制約に対処する。
本稿では,より現実的で脅迫的なシナリオとして,RAGに対する議論の的となっている論点に対する意見操作について紹介する。
本稿では、転送ベースであるFlipedRAGと呼ばれる新しいRAGブラックボックス攻撃手法を提案する。
論文 参考訳（メタデータ） (2025-01-06T12:24:57Z) - Attack-in-the-Chain: Bootstrapping Large Language Models for Attacks Against Black-box Neural Ranking Models [111.58315434849047]
本稿では,アタック・イン・ザ・チェーン(Attack-in-the-Chain)という新しいランキングアタックフレームワークを紹介する。
大型言語モデル(LLMs)とニューラルランキングモデル(NRMs)の相互作用をチェーン・オブ・ソートに基づいて追跡する。
2つのWeb検索ベンチマークによる実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-12-25T04:03:09Z) - Evaluating and Improving the Robustness of Security Attack Detectors Generated by LLMs [6.936401700600395]
大規模言語モデル(LLM)は、セキュリティ要件を実装するアタック検出器などの関数を生成するために、ソフトウェア開発でますます使われている。
これは、LLMが既存の攻撃に関する知識を欠いていることと、生成されたコードが実際の使用シナリオで評価されていないことによる可能性が高い。
本稿では,LLMパイプラインにRAG(Retrieval Augmented Generation)とSelf-Rankingを統合した新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-27T10:48:37Z) - AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。
我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。
また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
論文 参考訳（メタデータ） (2024-08-04T09:53:50Z) - Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。
提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
論文 参考訳（メタデータ） (2024-06-07T17:02:35Z) - BadRAG: Identifying Vulnerabilities in Retrieval Augmented Generation of Large Language Models [18.107026036897132]
大規模言語モデル(LLM)は時代遅れの情報と誤ったデータを生成する傾向によって制約される。
Retrieval-Augmented Generation (RAG) は、検索手法の強みと生成モデルを組み合わせることで、これらの制限に対処する。
RAG は LLM に対する新たな攻撃面を導入している。特に RAG データベースは Web などの公開データからしばしば引き出されるためである。
論文 参考訳（メタデータ） (2024-06-03T02:25:33Z) - Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation [0.9217021281095907]
本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。
2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。
本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-05-30T19:46:36Z) - Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。
新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。
我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
論文 参考訳（メタデータ） (2024-05-28T19:16:17Z) - Certifiably Robust RAG against Retrieval Corruption [58.677292678310934]
Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。
本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
論文 参考訳（メタデータ） (2024-05-24T13:44:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。