Fugu-MT 論文翻訳(概要): RAG-Safety-Bench: Reliable Evaluation of Retrieval-Augmented LLM Safety

論文の概要: RAG-Safety-Bench: Reliable Evaluation of Retrieval-Augmented LLM Safety

arxiv url: http://arxiv.org/abs/2609.11758v1
Date: Thu, 10 Sep 2026 16:12:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-11 23:53:35.443049
Title: RAG-Safety-Bench: Reliable Evaluation of Retrieval-Augmented LLM Safety
Title（参考訳）: RAG-Safety-Bench:Retrieval-Augmented LLM Safetyの信頼性評価
Abstract要約: 検索増強生成は、生成した応答の全体的な安全性に意図しない副作用をもたらす可能性がある。 LLMモデルに対するRAGの安全性への影響を測定するベンチマークであるRAG-Safety-Benchを紹介する。
参考スコア（独自算出の注目度）: 7.849314686124956
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Allowing large language models (LLMs) to retrieve information from a set of trusted documents can increase reliability and reduce hallucination. However, recent work has demonstrated that retrieval-augmented generation (RAG) can have unintended side effects on the overall safety of the generated responses, when prompted for harmful or dangerous content. A clearer understanding of the mechanisms leading to this result is needed, as increasing numbers of end users turn to RAG to incorporate corporate documents and knowledge bases into LLM-based systems. We introduce RAG-Safety-Bench, a benchmark to measure the safety impact of RAG on LLM models. By removing the confounding effect of retriever quality, and cleanly separating the problem into four conditions -- non-RAG, RAG with an oracle document containing the answer to the harmful request, RAG with documents related to the harmful request but without the specific answer, and RAG with random, safe documents -- the benchmark isolates the impacts of different factors in the observed safety degradation. We report results across five open-source LLMs, showing an inverse relationship between benign and unsafe capability, strong evidence that baseline safety guardrails do not lead to downstream safety guarantees in the RAG case, and model-specific support for previous findings that even benign documents can lead to unsafe generation in retrieval-enabled systems.
Abstract（参考訳）: 信頼された文書の集合から情報を取得するための大きな言語モデル(LLM)を提供することは、信頼性を高め、幻覚を減らすことができる。しかし,近年の研究では,RAG(検索増強世代)が有害あるいは危険な内容の引き金となると,生成した応答の全体的な安全性に意図しない副作用をもたらすことが示されている。エンドユーザの増加に伴い,企業文書や知識ベースをLCMベースのシステムに組み込むために,RAGへの転換が進むにつれ,この結果につながるメカニズムの明確化が求められている。 LLMモデルに対するRAGの安全性への影響を測定するベンチマークであるRAG-Safety-Benchを紹介する。非RAG(英語版)、RAG(英語版)、有害な要求に対する回答を含むオラクル文書(英語版)、RAG(英語版)、有害な要求に関する文書(英語版)を含む特定の回答がないがRAG(英語版)、ランダムで安全な文書(英語版)の4つの条件に、問題をきれいに分離することで、ベンチマークは観察された安全劣化の異なる要因の影響を隔離する。我々は,5つのオープンソース LLM に対して,良性と安全でない能力の逆関係,基準安全ガードレールがRAG ケースの下流安全保証に繋がらないという強い証拠,良性文書であっても検索可能なシステムにおいて安全でない生成につながるという過去の知見に対するモデル固有のサポートを示す結果を報告した。

関連論文リスト

Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework [61.79960727298522]
ビザンチン耐性協調RAGフレームワークSecureCollaRAGを提案する。提案手法により,エージェントシステムは動的GNNによる信頼性スコアリングにより,文書の証明を確実に行うことができる。本研究では,SecureCollaRAGが非IIDデータ配信における攻撃者に対する堅牢性を維持していることを示す。
論文参考訳（メタデータ） (2026-08-05T02:13:37Z)
DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents [12.054307827384415]
大きな言語モデル(LLM)はますます顕著になり、重要なドメインへの信頼性の高いデプロイメントを厳しく制限しています。本稿では,LLMを入力レベルと出力レベルの両方で保護する新しい安全応答フレームワークを提案する。
論文参考訳（メタデータ） (2025-11-05T03:04:35Z)
When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文参考訳（メタデータ） (2025-10-24T09:32:25Z)
RAG Makes Guardrails Unsafe? Investigating Robustness of Guardrails under RAG-style Contexts [39.58550043591753]
外部LLMベースのガードレールモデルは、安全でない入力と出力をスクリーニングする一般的なソリューションとして登場した。 LLMをベースとしたガードレールが,文脈に埋め込まれた追加情報に対していかに堅牢かを検討した。
論文参考訳（メタデータ） (2025-10-06T19:20:43Z)
Securing RAG: A Risk Assessment and Mitigation Framework [0.0]
Retrieval Augmented Generation (RAG)は、ユーザ向けNLPアプリケーションのためのデファクト業界標準として登場した。本稿では,RAGパイプラインの脆弱性を概観し,データ前処理からLLM(Large Language Models)の統合に至るまで,攻撃面の概要を述べる。
論文参考訳（メタデータ） (2025-05-13T16:39:00Z)
Secure Multifaceted-RAG for Enterprise: Hybrid Knowledge Retrieval with Security Filtering [8.618945530676614]
既存の検索機能拡張生成システム(RAG)は,検索範囲の限定とデータセキュリティリスクのため,エンタープライズ環境での課題に直面している。本稿では,Secure Multifaceted-RAG(SecMulti-RAG)フレームワークを提案する。自動車業界におけるレポート生成タスクの評価において,SecMulti-RAGは従来のRAGよりも優れていた。
論文参考訳（メタデータ） (2025-04-18T02:51:29Z)
Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
論文参考訳（メタデータ） (2025-02-08T06:50:47Z)
SafeRAG: Benchmarking Security in Retrieval-Augmented Generation of Large Language Model [17.046058202577985]
我々は、RAGセキュリティを評価するために、SafeRAGというベンチマークを導入する。まず、アタックタスクを銀のノイズ、コンテキスト間競合、ソフト広告、ホワイト・デニアル・オブ・サービスに分類する。次に、SafeRAGデータセットを使用して、RAGが遭遇する可能性のあるさまざまな攻撃シナリオをシミュレートします。
論文参考訳（メタデータ） (2025-01-28T17:01:31Z)
Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)
SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文参考訳（メタデータ） (2024-10-24T17:14:40Z)
Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
論文参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。