論文の概要: Simple Methods Defend RAG Systems Well Against Real-World Attacks

• arxiv url: http://arxiv.org/abs/2508.02296v1
• Date: Mon, 04 Aug 2025 11:04:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.305407
• Title: Simple Methods Defend RAG Systems Well Against Real-World Attacks
• Title（参考訳）: 実世界の攻撃に対してRAGシステムをよく防御する簡単な方法
• Authors: Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc,
• Abstract要約: 我々は,Of-Domain (OOD) クエリ検出のための4つの手法を評価する。 本評価では,2つの新たな次元削減と特徴分離戦略について検討する。 標準データセットと実世界のアプリケーションに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 14.370637951773384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring safety and in-domain responses for Retrieval-Augmented Generation (RAG) systems is paramount in safety-critical applications, yet remains a significant challenge. To address this, we evaluate four methodologies for Out-Of-Domain (OOD) query detection: GPT-4o, regression-based, Principal Component Analysis (PCA)-based, and Neural Collapse (NC), to ensure the RAG system only responds to queries confined to the system's knowledge base. Specifically, our evaluation explores two novel dimensionality reduction and feature separation strategies: \textit{PCA}, where top components are selected using explained variance or OOD separability, and an adaptation of \textit{Neural Collapse Feature Separation}. We validate our approach on standard datasets (StackExchange and MSMARCO) and real-world applications (Substance Use and COVID-19), including tests against LLM-simulated and actual attacks on a COVID-19 vaccine chatbot. Through human and LLM-based evaluations of response correctness and relevance, we confirm that an external OOD detector is crucial for maintaining response relevance.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムの安全性とドメイン内応答の確保は、安全クリティカルなアプリケーションにおいて最重要であるが、依然として重要な課題である。 GPT-4o,レグレッションベース,主成分分析(PCA)ベース,ニューラル・コラプス(NC)の4つの手法を評価し,RAGシステムがシステムの知識ベースに制限されたクエリにのみ応答するようにした。 具体的には,2つの新しい次元削減戦略と特徴分離戦略について検討する。例えば,説明分散やOOD分離性を用いてトップコンポーネントを選択できる<textit{PCA} と,<textit{Neural Collapse Feature separation} の適応である。 我々は、標準データセット(StackExchange と MSMARCO)および実世界のアプリケーション(Substance Use と COVID-19)に対するアプローチを検証する。 ヒトとLDMによる応答の正しさと関連性の評価を通じて、外部のOOD検出器が応答の関連性を維持するのに重要であることを確認した。

関連論文リスト

• Towards a rigorous evaluation of RAG systems: the challenge of due diligence [39.577682622066256]
  生成的AIの台頭は、医療や金融といったリスクの高い分野に大きな進歩をもたらした。 Retrieval-Augmented Generation (RAG)アーキテクチャは、言語モデル(LLM)と検索エンジンを組み合わせたもので、特に文書コーパスから応答を生成する能力で有名である。 本研究では、投資ファンドのデューディリジェンスに使用されるRAGシステムを評価する。
  論文  参考訳（メタデータ） (2025-07-29T12:33:16Z)
• Can LLMs Be Trusted for Evaluating RAG Systems? A Survey of Methods and Datasets [0.0]
  近年,RAG(Retrieval-Augmented Generation)が著しく進歩している。 RAGの複雑さは、体系的な評価と品質向上に重大な課題をもたらす。 本研究は,63の学術論文を体系的にレビューし,最新のRAG評価手法を概観する。
  論文  参考訳（メタデータ） (2025-04-28T08:22:19Z)
• The Great Nugget Recall: Automating Fact Extraction and RAG Evaluation with Large Language Models [53.12387628636912]
  本稿では,人間のアノテーションに対して評価を行う自動評価フレームワークを提案する。 この手法は2003年にTREC Question Answering (QA) Trackのために開発された。 完全自動ナゲット評価から得られるスコアと人間に基づく変種とのランニングレベルでの強い一致を観察する。
  論文  参考訳（メタデータ） (2025-04-21T12:55:06Z)
• AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning [61.28113271728859]
  RAGは知識ベースで大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 標準的なRAGパイプラインは、モデル推論が取得した証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 本研究では,RAGをRetrieval-Augmented Reasoningと解釈し,中心的だが未探索な問題であるtextitReasoning Misalignmentを同定する。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• VERA: Validation and Evaluation of Retrieval-Augmented Systems [5.709401805125129]
  VERAは、大規模言語モデル(LLM)からの出力の透明性と信頼性を高めるために設計されたフレームワークである。 VERAが意思決定プロセスを強化し、AIアプリケーションへの信頼を高める方法を示す。
  論文  参考訳（メタデータ） (2024-08-16T21:59:59Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Generating Is Believing: Membership Inference Attacks against Retrieval-Augmented Generation [9.73190366574692]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚や知識の安定化といった問題を緩和する手法である。 既存の研究では、RAGのLCMに関連する潜在的なプライバシーリスクが示されている。 S$2$MIA, underlineMembership underlineInference underlineAttack, which uses the underlineSemantic underlineSimilarity between a given sample and the content generated by the RAG system。
  論文  参考訳（メタデータ） (2024-06-27T14:58:38Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue Systems [71.33737787564966]
  エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね! 本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。 本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
  論文  参考訳（メタデータ） (2022-11-07T15:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。