論文の概要: TrustRAG: Enhancing Robustness and Trustworthiness in RAG
- arxiv url: http://arxiv.org/abs/2501.00879v1
- Date: Wed, 01 Jan 2025 15:57:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:14:51.079772
- Title: TrustRAG: Enhancing Robustness and Trustworthiness in RAG
- Title（参考訳）: TrustRAG:RAGのロバスト性と信頼性を高める
- Authors: Huichi Zhou, Kin-Hei Lee, Zhonghao Zhan, Yue Chen, Zhenhao Li,
- Abstract要約: TrustRAGは、言語モデルに到達する前に、妥協されたコンテンツと無関係なコンテンツをフィルタリングするフレームワークである。
TrustRAGは、任意の言語モデルとシームレスに統合される、プラグイン・アンド・プレイのトレーニングフリーモジュールとして機能する。
我々は,TrustRAGが既存のアプローチと比較して,検索精度,効率,攻撃抵抗の大幅な向上を実現していることを示す。
- 参考スコア（独自算出の注目度）: 14.336899287103362
- License:
- Abstract: Retrieval-Augmented Generation (RAG) systems enhance large language models (LLMs) by integrating external knowledge sources, enabling more accurate and contextually relevant responses tailored to user queries. However, these systems remain vulnerable to corpus poisoning attacks that can significantly degrade LLM performance through the injection of malicious content. To address these challenges, we propose TrustRAG, a robust framework that systematically filters compromised and irrelevant content before it reaches the language model. Our approach implements a two-stage defense mechanism: first, it employs K-means clustering to identify potential attack patterns in retrieved documents based on their semantic embeddings, effectively isolating suspicious content. Second, it leverages cosine similarity and ROUGE metrics to detect malicious documents while resolving discrepancies between the model's internal knowledge and external information through a self-assessment process. TrustRAG functions as a plug-and-play, training-free module that integrates seamlessly with any language model, whether open or closed-source, maintaining high contextual relevance while strengthening defenses against attacks. Through extensive experimental validation, we demonstrate that TrustRAG delivers substantial improvements in retrieval accuracy, efficiency, and attack resistance compared to existing approaches across multiple model architectures and datasets. We have made TrustRAG available as open-source software at \url{https://github.com/HuichiZhou/TrustRAG}.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、外部の知識ソースを統合することで、より大きな言語モデル(LLM)を強化する。
しかし、これらのシステムは、悪意のあるコンテンツの注入によってLLM性能を著しく低下させるコーパス中毒攻撃に対して脆弱なままである。
これらの課題に対処するために,言語モデルに到達する前に,妥協や無関係なコンテンツを体系的にフィルタリングする,堅牢なフレームワークであるTrustRAGを提案する。
提案手法では,2段階の防御機構を実装しており,まずK平均クラスタリングを用いて,セマンティック埋め込みに基づいて検索した文書の潜在的な攻撃パターンを同定し,疑わしいコンテンツを効果的に分離する。
第二に、コサインの類似性とROUGEメトリクスを利用して悪意のある文書を検知し、自己評価プロセスを通じてモデルの内部知識と外部情報の相違を解消する。
TrustRAGは、オープンソースであれクローズドソースであれ、任意の言語モデルとシームレスに統合され、攻撃に対する防御を強化しながら、高いコンテキスト関連性を維持する、プラグアンドプレイの、トレーニング不要なモジュールとして機能する。
大規模な実験的検証を通じて、TrustRAGは、複数のモデルアーキテクチャやデータセットにまたがる既存のアプローチと比較して、検索精度、効率、アタック耐性を大幅に改善することを示した。
我々は、TrustRAGをオープンソースソフトウェアとして、 \url{https://github.com/HuichiZhou/TrustRAG}で利用可能にしました。
関連論文リスト
- TrustRAG: An Information Assistant with Retrieval Augmented Generation [73.84864898280719]
TrustRAGは、インデックス付け、検索、生成という3つの視点から、acRAGを強化する新しいフレームワークである。
我々はTrustRAGフレームワークをオープンソース化し、抜粋ベースの質問応答タスク用に設計されたデモスタジオを提供する。
論文 参考訳（メタデータ） (2025-02-19T13:45:27Z) - ParetoRAG: Leveraging Sentence-Context Attention for Robust and Efficient Retrieval-Augmented Generation [8.223134723149753]
本稿では、RAG(Retrieval-Augmented Generation)システムを最適化する教師なしフレームワークを提案する。
段落を文に分解することにより,文脈コヒーレンスを保ちながら,コアコンテンツを動的に再重み付けする。
このフレームワークは、さまざまなデータセット、LLM(Large Language Models)、レトリバーで検証されている。
論文 参考訳（メタデータ） (2025-02-12T07:32:48Z) - Semantic Tokens in Retrieval Augmented Generation [0.0]
本稿では,確率的RAGシステムと決定論的に検証可能な応答のギャップを埋めるための評価モジュールを導入した新しい比較RAGシステムを提案する。
このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションを実現する。
論文 参考訳（メタデータ） (2024-12-03T16:52:06Z) - In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [104.94706600050557]
テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。
ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。
我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
論文 参考訳（メタデータ） (2024-11-25T04:17:24Z) - UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。
我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。
不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
論文 参考訳（メタデータ） (2024-10-03T17:39:38Z) - On the Vulnerability of Applying Retrieval-Augmented Generation within
Knowledge-Intensive Application Domains [34.122040172188406]
Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。
医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。
我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
論文 参考訳（メタデータ） (2024-09-12T02:43:40Z) - "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される
本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
論文 参考訳（メタデータ） (2024-06-26T05:36:23Z) - Certifiably Robust RAG against Retrieval Corruption [58.677292678310934]
Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。
本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
論文 参考訳（メタデータ） (2024-05-24T13:44:25Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳（メタデータ） (2021-07-07T15:42:49Z) - Detecting Security Fixes in Open-Source Repositories using Static Code
Analyzers [8.716427214870459]
機械学習(ML)アプリケーションにおけるコミットを表現する機能として,既製の静的コードアナライザの出力がどの程度使用されるかを検討する。
埋め込みの構築やMLモデルをトレーニングして、脆弱性修正を含むソースコードコミットを自動的に識別する方法について検討する。
当社のメソッドとcommit2vecの組み合わせは,脆弱性を修正するコミットの自動識別において,最先端技術よりも明確な改善であることがわかった。
論文 参考訳（メタデータ） (2021-05-07T15:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。