論文の概要: RAG-targeted Adversarial Attack on LLM-based Threat Detection and Mitigation Framework
- arxiv url: http://arxiv.org/abs/2511.06212v1
- Date: Sun, 09 Nov 2025 03:50:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.812637
- Title: RAG-targeted Adversarial Attack on LLM-based Threat Detection and Mitigation Framework
- Title(参考訳): LLMを用いた脅威検出・軽減フレームワークにおけるRAG目標逆攻撃
- Authors: Seif Ikbarieh, Kshitiz Aryal, Maanak Gupta,
- Abstract要約: IoT(Internet of Things)の急速な拡張は、業界全体のコミュニケーションと運用のプラクティスを変革する一方で、攻撃面を広げ、セキュリティ侵害に対する感受性を高めている。
人工知能はIoTネットワークを保護する上で重要なソリューションとなり、Large Language Models(LLM)は自動攻撃行動分析と緩和提案を可能にしている。
LLMベースのIoT攻撃分析と緩和フレームワークを攻撃して、その敵の堅牢性をテストする。
- 参考スコア(独自算出の注目度): 0.19116784879310025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid expansion of the Internet of Things (IoT) is reshaping communication and operational practices across industries, but it also broadens the attack surface and increases susceptibility to security breaches. Artificial Intelligence has become a valuable solution in securing IoT networks, with Large Language Models (LLMs) enabling automated attack behavior analysis and mitigation suggestion in Network Intrusion Detection Systems (NIDS). Despite advancements, the use of LLMs in such systems further expands the attack surface, putting entire networks at risk by introducing vulnerabilities such as prompt injection and data poisoning. In this work, we attack an LLM-based IoT attack analysis and mitigation framework to test its adversarial robustness. We construct an attack description dataset and use it in a targeted data poisoning attack that applies word-level, meaning-preserving perturbations to corrupt the Retrieval-Augmented Generation (RAG) knowledge base of the framework. We then compare pre-attack and post-attack mitigation responses from the target model, ChatGPT-5 Thinking, to measure the impact of the attack on model performance, using an established evaluation rubric designed for human experts and judge LLMs. Our results show that small perturbations degrade LLM performance by weakening the linkage between observed network traffic features and attack behavior, and by reducing the specificity and practicality of recommended mitigations for resource-constrained devices.
- Abstract(参考訳): IoT(Internet of Things)の急速な拡張は、業界全体のコミュニケーションと運用のプラクティスを変革する一方で、攻撃面を広げ、セキュリティ侵害に対する感受性を高めている。
大規模言語モデル(LLM)は、ネットワーク侵入検出システム(NIDS)における自動攻撃行動分析と緩和提案を可能にする。
進歩にもかかわらず、このようなシステムにおけるLSMの使用は攻撃面をさらに拡大し、即発注射やデータ中毒などの脆弱性を導入することでネットワーク全体が危険にさらされる。
本研究では,LLMをベースとしたIoT攻撃分析と緩和フレームワークを攻撃して,その対角的堅牢性をテストする。
攻撃記述データセットを構築し,それを単語レベル,意味保存的摂動を適用したターゲットデータ中毒攻撃に使用することにより,フレームワークの検索・拡張された生成(RAG)知識基盤を破損させる。
次に,対象モデルであるChatGPT-5の攻撃前応答と攻撃後緩和応答を比較し,攻撃がモデル性能に与える影響を測定する。
以上の結果から, 観測されたネットワークトラフィック特徴と攻撃行動の関連性を弱め, 資源制約デバイスに対する推奨緩和の具体性と実用性を低下させることにより, LLM性能を低下させることが示唆された。
関連論文リスト
- The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。
このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。
本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
論文 参考訳(メタデータ) (2025-05-24T08:19:25Z) - Constrained Network Adversarial Attacks: Validity, Robustness, and Transferability [0.0]
研究は、既存の敵攻撃手法の重大な欠陥を明らかにしている。
ドメイン固有の制約の頻繁な違反は、IoTやネットワークトラフィックに固有のもので、最大80.3%の敵のサンプルが無効になることを示している。
この研究は、セキュリティクリティカルなIoTおよびネットワークアプリケーションのための堅牢なML/DLモデルの評価と設計において、ドメイン制約とモデルアーキテクチャの両方を考慮することの重要性を強調している。
論文 参考訳(メタデータ) (2025-05-02T15:01:42Z) - Robust Intrusion Detection System with Explainable Artificial Intelligence [0.0]
逆入力は、標準インターフェイスを通じて機械学習(ML)モデルを利用することができる。
敵の訓練のような従来の防御は、計算的な用語で費用がかかるため、しばしばリアルタイム検出の提供に失敗する。
eXplainable Artificial Intelligence (XAI) を用いた敵攻撃の検出と緩和のための新しい戦略を提案する。
論文 参考訳(メタデータ) (2025-03-07T10:31:59Z) - Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
大規模言語モデル(LLM)は敵の脅威に対して脆弱である。
本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。
そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
論文 参考訳(メタデータ) (2024-06-05T13:06:33Z) - Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。
我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。
ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
論文 参考訳(メタデータ) (2023-12-21T01:08:39Z) - FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳(メタデータ) (2023-12-07T16:56:24Z) - Untargeted White-box Adversarial Attack with Heuristic Defence Methods
in Real-time Deep Learning based Network Intrusion Detection System [0.0]
Adversarial Machine Learning (AML)では、悪意のあるアクターが機械学習(ML)とディープラーニング(DL)モデルを騙して、誤った予測を生成する。
AMLは新たな研究領域であり、敵の攻撃の詳細な研究に欠かせないものとなっている。
我々は,FGSM(Fast Gradient Sign Method),JSMA(Jacobian Saliency Map Attack),PGD(Projected Gradient Descent),Cerini & Wagner(C&W)の4つの強力な攻撃手法を実装した。
論文 参考訳(メタデータ) (2023-10-05T06:32:56Z) - Downlink Power Allocation in Massive MIMO via Deep Learning: Adversarial
Attacks and Training [62.77129284830945]
本稿では,無線環境における回帰問題を考察し,敵攻撃がDLベースのアプローチを損なう可能性があることを示す。
また,攻撃に対するDLベースの無線システムの堅牢性が著しく向上することを示す。
論文 参考訳(メタデータ) (2022-06-14T04:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。