論文の概要: Towards Unsupervised Adversarial Document Detection in Retrieval Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2603.17176v1
• Date: Tue, 17 Mar 2026 22:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.422494
• Title: Towards Unsupervised Adversarial Document Detection in Retrieval Augmented Generation Systems
• Title（参考訳）: 検索用拡張生成システムにおける教師なし対応文書検出に向けて
• Authors: Patrick Levi,
• Abstract要約: 検索型拡張現実システムは日常生活の不可欠な部分となっている。 コンテキスト文書を操作することは、攻撃を継続し、すべてのユーザーに影響を与えさせる方法である。 攻撃者が操作したいターゲットプロンプトを操作することは、検出を成功させるためには必要ない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval augmented generation systems have become an integral part of everyday life. Whether in internet search engines, email systems, or service chatbots, these systems are based on context retrieval and answer generation with large language models. With their spread, also the security vulnerabilities increase. Attackers become increasingly focused on these systems and various hacking approaches are developed. Manipulating the context documents is a way to persist attacks and make them affect all users. Therefore, detecting compromised, adversarial context documents early is crucial for security. While supervised approaches require a large amount of labeled adversarial contexts, we propose an unsupervised approach, being able to detect also zero day attacks. We conduct a preliminary study to show appropriate indicators for adversarial contexts. For that purpose generator activations, output embeddings, and an entropy-based uncertainty measure turn out as suitable, complementary quantities. With an elementary statistical outlier detection, we propose and compare their detection abilities. Furthermore, we show that the target prompt, which the attacker wants to manipulate, is not required for a successful detection. Moreover, our results indicate that a simple context summary generation might even be superior in finding manipulated contexts.
• Abstract（参考訳）: 検索型拡張現実システムは日常生活の不可欠な部分となっている。 インターネット検索エンジン、メールシステム、サービスチャットボットなどにおいて、これらのシステムはコンテキスト検索と大きな言語モデルによる回答生成に基づいている。 感染拡大に伴い、セキュリティ上の脆弱性も増大する。 攻撃者はこれらのシステムに集中し、様々なハッキングアプローチが開発されている。 コンテキスト文書を操作することは、攻撃を継続し、すべてのユーザーに影響を与えさせる方法である。 したがって、早期に妥協された敵のコンテキスト文書を検出することは、セキュリティにとって不可欠である。 教師付きアプローチは大量のラベル付き敵のコンテキストを必要とするが、教師なしアプローチを提案し、ゼロデイアタックも検出できる。 敵の文脈に対する適切な指標を示すための予備的研究を行う。 その目的のために、生成元活性化、出力埋め込み、エントロピーに基づく不確実性測定は、適切な相補的な量であることが判明した。 基本統計的外れ値検出では,その検出能力について提案し,比較する。 さらに,攻撃者が操作したいターゲットプロンプトは検出に必要ではないことを示す。 さらに,本研究の結果から,単純なコンテキスト要約生成が,操作されたコンテキストを見つける上でも優れている可能性が示唆された。

関連論文リスト

• Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
  textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。 これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。 この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T03:53:25Z)
• CAMOUFLAGE: Exploiting Misinformation Detection Systems Through LLM-driven Adversarial Claim Transformation [4.02943411607022]
  既存のブラックボックステキストベースの敵攻撃は、証拠に基づく誤情報検出システムには不適である。 本稿では,2エージェントシステムを用いた反復的LCM駆動型アプローチであるCAMOUFLAGEについて述べる。 最近の2つの学術システムと2つの実世界のAPIを含む4つのシステムでCAMOUFLAGEを評価し、平均的な攻撃成功率は46.92%である。
  論文  参考訳（メタデータ） (2025-05-03T19:14:24Z)
• Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
  検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。 主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。 本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
  論文  参考訳（メタデータ） (2025-01-30T18:02:15Z)
• Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
  そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。 我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。 実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
  論文  参考訳（メタデータ） (2024-04-02T12:49:22Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection [12.244543468021938]
  本稿では,敵対的文書に対する2種類の検出タスクを提案する。 敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。 いくつかの検出基準線の性能を総合的に調査する。
  論文  参考訳（メタデータ） (2023-07-31T16:31:24Z)
• Zero-Query Transfer Attacks on Context-Aware Object Detectors [95.18656036716972]
  敵は、ディープニューラルネットワークが誤った分類結果を生成するような摂動画像を攻撃する。 自然の多目的シーンに対する敵対的攻撃を防御するための有望なアプローチは、文脈整合性チェックを課すことである。 本稿では,コンテキスト整合性チェックを回避可能な,コンテキスト整合性攻撃を生成するための最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-29T04:33:06Z)
• No Need to Know Physics: Resilience of Process-based Model-free Anomaly Detection for Industrial Control Systems [95.54151664013011]
  本稿では,システムの物理的特性に反する逆スプーフ信号を生成するための新しい枠組みを提案する。 トップセキュリティカンファレンスで公表された4つの異常検知器を分析した。
  論文  参考訳（メタデータ） (2020-12-07T11:02:44Z)
• Universal Adversarial Attacks with Natural Triggers for Text Classification [30.74579821832117]
  我々は、自然の英語のフレーズに近づきながら、分類システムを混乱させる敵攻撃を開発する。 我々の攻撃は、従来のモデルよりも識別が困難でありながら、分類タスクのモデル精度を効果的に低下させる。
  論文  参考訳（メタデータ） (2020-05-01T01:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。