Fugu-MT 論文翻訳(概要): GRADA: Graph-based Reranker against Adversarial Documents Attack

論文の概要: GRADA: Graph-based Reranker against Adversarial Documents Attack

arxiv url: http://arxiv.org/abs/2505.07546v1
Date: Mon, 12 May 2025 13:27:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-13 20:21:49.398198
Title: GRADA: Graph-based Reranker against Adversarial Documents Attack
Title（参考訳）: GRADA: 敵対的ドキュメント攻撃に対するグラフベースのリランカ
Authors: Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu,
Abstract要約: 敵対的なドキュメント攻撃は、クエリとセマンティックに類似した、敵対的なドキュメントを導入することで、検索プロセスを操作します。本稿では,検索品質の維持を目標とし,相手の成功を著しく低減するグラフベースの逆文書攻撃対策フレームワークを提案する。
参考スコア（独自算出の注目度）: 24.95583601804124
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval Augmented Generation (RAG) frameworks improve the accuracy of large language models (LLMs) by integrating external knowledge from retrieved documents, thereby overcoming the limitations of models' static intrinsic knowledge. However, these systems are susceptible to adversarial attacks that manipulate the retrieval process by introducing documents that are adversarial yet semantically similar to the query. Notably, while these adversarial documents resemble the query, they exhibit weak similarity to benign documents in the retrieval set. Thus, we propose a simple yet effective Graph-based Reranking against Adversarial Document Attacks (GRADA) framework aiming at preserving retrieval quality while significantly reducing the success of adversaries. Our study evaluates the effectiveness of our approach through experiments conducted on five LLMs: GPT-3.5-Turbo, GPT-4o, Llama3.1-8b, Llama3.1-70b, and Qwen2.5-7b. We use three datasets to assess performance, with results from the Natural Questions dataset demonstrating up to an 80% reduction in attack success rates while maintaining minimal loss in accuracy.
Abstract（参考訳）: Retrieval Augmented Generation (RAG)フレームワークは、検索したドキュメントから外部知識を統合することで、大規模言語モデル(LLM)の精度を改善し、それによってモデルの静的固有知識の限界を克服する。しかし、これらのシステムは、検索プロセスを操作する敵攻撃に対して、そのクエリとセマンティックに類似した、敵対的でありながら、意味的に類似した文書を導入することで、影響を受けやすい。特に、これらの敵対的文書はクエリに似ているが、検索セット内の良性文書と弱い類似性を示す。そこで本稿では,検索品質の維持と,相手の成功を著しく低減することを目的とした,簡易かつ効果的なグラフベースの逆文書攻撃対策(GRADA)フレームワークを提案する。 GPT-3.5-Turbo, GPT-4o, Llama3.1-8b, Llama3.1-70b, Qwen2.5-7b の5つの LLM 実験により, 本手法の有効性を検討した。評価には3つのデータセットを使用し,Natural Questionsデータセットの結果から,攻撃成功率を最大80%削減し,精度の低下を最小限に抑えることができた。

関連論文リスト

Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。検索者は文書の優先順位の過度な開始、短い文書、繰り返しのエンティティ、リテラルマッチングといった表面的なパターンにしばしば依存していることを示す。これらのバイアスは、検索優先の文書がLLMを誤解させるおそれのあるRAGのような下流アプリケーションに直接的な結果をもたらすことを示す。
論文参考訳（メタデータ） (2025-03-06T23:23:13Z)
Worse than Zero-shot? A Fact-Checking Dataset for Evaluating the Robustness of RAG Against Misleading Retrievals [3.9139847342664864]
本稿では,RAGシステムの不正検索に対する堅牢性を評価するために設計されたファクトチェックデータセットであるRAGuardを紹介する。 RAGuardは、回収された証拠を3つのタイプに分類する。ベンチマーク実験の結果,LLM方式のRAGシステムはすべて,ゼロショットベースラインよりも性能が劣っていることがわかった。
論文参考訳（メタデータ） (2025-02-22T05:50:15Z)
Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation [18.098228823748617]
本稿では,RAGデータストア内の文書を対象としたメンバシップ推論手法であるInterrogation Attack (IA)を提案する。ステルス性を維持しながら、たった30クエリで推論に成功したことを実証します。我々は,様々なRAG構成に対する事前推論攻撃に対して,TPR@1%FPRの2倍の改善が観察された。
論文参考訳（メタデータ） (2025-02-01T04:01:18Z)
Unsupervised dense retrieval with conterfactual contrastive learning [16.679649921935482]
そこで本研究では,高密度検索モデルの高感度化により,高密度検索モデルのロバスト性を向上させることを提案する。この文脈での感度を達成するモデルは、クエリとの関連性を決定するドキュメントのキーパスが修正されたときに高いばらつきを示すべきである。因果関係と反事実分析に動機付け, 一連の反事実正則化手法を提案する。
論文参考訳（メタデータ） (2024-12-30T07:01:34Z)
JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文参考訳（メタデータ） (2024-10-31T18:43:12Z)
LLMs Can Patch Up Missing Relevance Judgments in Evaluation [56.51461892988846]
我々は、大きな言語モデル(LLM)を使って、不確定な文書を自動的にラベル付けします。 TREC DLトラックの関連性判定から関連文書をランダムにドロップすることで,穴の度合いの異なるシナリオをシミュレートする。 Vicuna-7B と GPT-3.5 Turbo の平均値に対して,Kendall tau の0.87 と 0.92 の相関式が得られた。
論文参考訳（メタデータ） (2024-05-08T00:32:19Z)
Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文参考訳（メタデータ） (2023-09-10T21:36:38Z)
Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection [12.244543468021938]
本稿では,敵対的文書に対する2種類の検出タスクを提案する。敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。いくつかの検出基準線の性能を総合的に調査する。
論文参考訳（メタデータ） (2023-07-31T16:31:24Z)
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文参考訳（メタデータ） (2022-10-19T16:19:37Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。