論文の概要: Knowledge Base Poisoning Attacks and Defense for Policy-Aware LLM-RAG Framework
- arxiv url: http://arxiv.org/abs/2607.04379v1
- Date: Sun, 05 Jul 2026 16:12:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.911184
- Title: Knowledge Base Poisoning Attacks and Defense for Policy-Aware LLM-RAG Framework
- Title(参考訳): LLM-RAGフレームワークに対する知識ベースによる攻撃と防御
- Abstract要約: 本稿では,IoBT(Internet of Battlefield Things)ミッション制御のためのPA-LLM-RAG(Policy-Aware LLM Retrieval-Augmented Generation)フレームワークの逆セキュリティ研究について述べる。
IoBT知識ベースに意味論的ルールを注入する新しい攻撃であるQuery-Agnostic Semantic Retrieval Poisoningを提案する。
本稿では,1クラスSVM境界検出と新しいメンバベースカテゴリー展開解析を組み合わせた2要素異常検出フレームワークであるCLD-KBを提案する。
- 参考スコア(独自算出の注目度): 0.1749935196721634
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents an adversarial security study of the Policy-Aware LLM Retrieval-Augmented Generation (PA-LLM-RAG) framework for Internet of Battlefield Things (IoBT) mission control. We propose Query-Agnostic Semantic Retrieval Poisoning, a novel attack that injects semantically crafted rules into the IoBT knowledge base achieving high retrieval ranking across all operator query types without requiring knowledge of runtime prompts. The attack achieves 85% LLM context corruption from a single injected rule (1.6% poisoning rate) and saturates at 7.7% poisoning, demonstrating that even minimal knowledge base compromise is sufficient to corrupt mission decisions. To counter this threat, we propose CLD-KB (Cyber-Layered Defense for Knowledge Base), a dual-detector anomaly detection framework combining One-Class SVM boundary detection with a novel Member-Based Category Spread analysis that exploits the three-category IoBT policy taxonomy to identify poisoned rules before they reach the decision LLM. CLD-KB significantly outperforms five baseline methods including DBSCAN, LOF, K-Means, Isolation Forest, and One-Class SVM in both poisoning detection and knowledge preservation, with only 7ms computational overhead per mission, establishing it as an effective and edge-deployable defense for LLM-driven IoBT mission systems.
- Abstract(参考訳): 本稿では,IoBT(Internet of Battlefield Things)ミッション制御のためのPA-LLM-RAG(Policy-Aware LLM Retrieval-Augmented Generation)フレームワークの逆セキュリティ研究について述べる。
我々は,IoBTの知識ベースに意味論的ルールを注入し,実行時プロンプトの知識を必要とせずに,すべての演算子クエリタイプに対して高い検索ランクを達成できる新しい攻撃であるQuery-Agnostic Semantic Retrieval Poisoningを提案する。
この攻撃は、単一の注入されたルール(1.6%の毒殺率)から85%のLLMコンテキストの腐敗を達成し、7.7%の毒殺で飽和し、最小限の知識ベース妥協でさえミッション決定を損なうのに十分であることを示した。
この脅威に対処するために,我々は,一級SVM境界検出と3カテゴリのIoBTポリシー分類を利用した新しいメンバーベースカテゴリースプレッド分析を組み合わせた,二重検出器異常検出フレームワークであるCLD-KB(Cyber-Layered Defense for Knowledge Base)を提案する。
CLD-KBは、DBSCAN、LOF、K-Means、Isolation Forest、One-class SVMといった5つのベースライン法よりも、ミッション毎に7msの計算オーバーヘッドしか持たず、LLM駆動のIoBTミッションシステムにおいて効果的かつエッジにデプロイ可能な防御方法として確立されている。
関連論文リスト
- Acoda: Adversarial Code Obfuscation for Defending against LLM-based Analysis [8.003290859936245]
LLM(Large Language Models)は、ソースコードロジックの解析、再構築、リバースエンジニアリングなどを行うことができる。
遺伝的アルゴリズムに基づく逆コード難読化フレームワークであるAcodaを提案する。
GPT-4o、DeepSeek、Qwen、Llama、Gemmaを含む7つの最先端LCMでは、Acodaは最大70%の攻撃成功率(ASR)を達成する。
論文 参考訳(メタデータ) (2026-06-10T07:29:31Z) - Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。
BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。
そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
論文 参考訳(メタデータ) (2026-06-04T14:48:23Z) - AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning [115.3243260783674]
Retrieval-augmented Generation (RAG) は、外部文書を取得することにより、大きな言語モデル(LLM)推論を強化する。
攻撃者が悪意のあるコンテンツを検索コーパスに注入するRAGにおける知識ベース中毒攻撃について検討した。
AdversarialCoTは、コーパス内の1つのドキュメントだけを毒化するクエリ固有の攻撃である。
論文 参考訳(メタデータ) (2026-04-14T02:10:23Z) - MA-IDS: Multi-Agent RAG Framework for IoT Network Intrusion Detection with an Experience Library [0.0]
推論駆動型侵入検出のための大規模言語モデルと検索拡張生成を組み合わせたマルチエージェント侵入検出システムMA-IDSを提案する。
NF-BoT-IoTとNF-ToN-IoTベンチマークデータセットの評価。
結果はSVMと競合し、すべての分類決定に対してルールレベルの説明を提供する。
論文 参考訳(メタデータ) (2026-04-07T05:41:10Z) - Adversarial attacks against Modern Vision-Language Models [51.56484100374058]
我々は,現実的な事前デプロイ条件をシミュレートするために構築された自己完結型eコマース環境に配備された,オープンソースの視覚言語モデル(VLM)エージェントの敵対的堅牢性について検討した。
LLaVA-v1.5-7BとQwen2.5-VL-7Bの2剤を3種類の勾配攻撃下で評価した。
論文 参考訳(メタデータ) (2026-03-17T04:55:10Z) - RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models [0.0]
本稿では,事前学習した相手プロンプトのデータベースに新たなプロンプトをマッチングすることで,リトレーニングの必要性を解消する資源効率の高い逆プロンプト手法を提案する。
セマンティックに類似した敵のプロンプトを抽出することにより,計算コストを大幅に削減した競合攻撃成功率を実現する。
論文 参考訳(メタデータ) (2026-01-20T06:01:02Z) - ADMIT: Few-shot Knowledge Poisoning Attacks on RAG-based Fact Checking [42.283307608442946]
知識中毒はレトリーバル増強世代(RAG)システムにとって重大な脅威となる。
textbfADMIT (textbfADversarial textbfMulti-textbfInjection textbfTechnique) は、事実チェックの決定を覆す意味論的に整合した中毒攻撃である。
論文 参考訳(メタデータ) (2025-10-11T14:50:40Z) - Investigating the Vulnerability of LLM-as-a-Judge Architectures to Prompt-Injection Attacks [0.0]
大規模言語モデル (LLM) は、機械生成テキストの品質を評価するための評価器 (LLM-as-a-Judge) としてますます採用されている。
本稿では,LPM-as-a-Judgeアーキテクチャの早期注入攻撃に対する脆弱性について検討する。
論文 参考訳(メタデータ) (2025-05-19T16:51:12Z) - Hoist with His Own Petard: Inducing Guardrails to Facilitate Denial-of-Service Attacks on Retrieval-Augmented Generation of LLMs [8.09404178079053]
Retrieval-Augmented Generation (RAG)は、Large Language Models (LLM)を外部の知識ベースと統合し、新たなセキュリティリスクを導入しながら出力品質を改善する。
RAGの脆弱性に関する既存の研究は、典型的には不正な知識や悪意のあるテキストを注入する検索メカニズムの活用に重点を置いており、誤った出力を誘導している。
本稿では, LLM の安全ガードレールの脆弱性を明らかにする。LLM の安全ガードレールは保護のために設計されているが, 敵による攻撃ベクトルとして利用することもできる。この脆弱性に基づいて, 本脆弱性を生かして, ガードレールの可利用性を損なうために, リバース・オブ・サービス・アタックである MutedRAG を提案する。
論文 参考訳(メタデータ) (2025-04-30T14:18:11Z) - MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [104.50239783909063]
Retrieval Augmented Generation (RAG) を用いた多モーダル大規模言語モデルは、多モーダル質問応答のようなかなり高度なタスクを持つ。
この外部知識への依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを引き起こす。
マルチモーダルRAGにおける知識中毒を体系的に設計する最初のフレームワークであるMM-PoisonRAGを提案する。
論文 参考訳(メタデータ) (2025-02-25T04:23:59Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳(メタデータ) (2025-02-10T09:15:56Z) - Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。
我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。
7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
論文 参考訳(メタデータ) (2024-04-24T23:39:58Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳(メタデータ) (2024-04-16T13:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。