論文の概要: When AIOps Become "AI Oops": Subverting LLM-driven IT Operations via Telemetry Manipulation
- arxiv url: http://arxiv.org/abs/2508.06394v1
- Date: Fri, 08 Aug 2025 15:25:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:06.285592
- Title: When AIOps Become "AI Oops": Subverting LLM-driven IT Operations via Telemetry Manipulation
- Title(参考訳): AIOpsが"AI Oops"になった時 - テレメトリ操作によるLLM駆動IT運用の転換
- Authors: Dario Pasquini, Evgenios M. Kornaropoulos, Giuseppe Ateniese, Omer Akgul, Athanasios Theocharis, Petros Efstathopoulos,
- Abstract要約: 敵はシステムテレメトリを操作してAIOpsエージェントを誤解させ、管理するインフラストラクチャの整合性を損なう行動をとることができる。
我々の攻撃手法であるAIOpsDoomは、完全に自動化された偵察、ファジィ、LLM駆動の敵入力生成であり、ターゲットシステムの事前の知識なしで動作します。
我々は,その構造的性質とユーザ生成コンテンツの最小の役割を活かして,テレメトリデータを衛生化する防衛機構であるAIOpsShieldを提案する。
- 参考スコア(独自算出の注目度): 14.953094226411197
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI for IT Operations (AIOps) is transforming how organizations manage complex software systems by automating anomaly detection, incident diagnosis, and remediation. Modern AIOps solutions increasingly rely on autonomous LLM-based agents to interpret telemetry data and take corrective actions with minimal human intervention, promising faster response times and operational cost savings. In this work, we perform the first security analysis of AIOps solutions, showing that, once again, AI-driven automation comes with a profound security cost. We demonstrate that adversaries can manipulate system telemetry to mislead AIOps agents into taking actions that compromise the integrity of the infrastructure they manage. We introduce techniques to reliably inject telemetry data using error-inducing requests that influence agent behavior through a form of adversarial reward-hacking; plausible but incorrect system error interpretations that steer the agent's decision-making. Our attack methodology, AIOpsDoom, is fully automated--combining reconnaissance, fuzzing, and LLM-driven adversarial input generation--and operates without any prior knowledge of the target system. To counter this threat, we propose AIOpsShield, a defense mechanism that sanitizes telemetry data by exploiting its structured nature and the minimal role of user-generated content. Our experiments show that AIOpsShield reliably blocks telemetry-based attacks without affecting normal agent performance. Ultimately, this work exposes AIOps as an emerging attack vector for system compromise and underscores the urgent need for security-aware AIOps design.
- Abstract(参考訳): AI for IT Operations(AIOps)は、異常検出、インシデント診断、修復を自動化することで、組織が複雑なソフトウェアシステムを管理する方法を変えようとしている。
現代のAIOpsソリューションは、テレメトリデータを解釈し、人間の介入を最小限に抑え、より高速な応答時間と運用コストの削減を約束するために、自律的なLLMベースのエージェントに依存している。
この研究で私たちは、AIOpsソリューションの最初のセキュリティ分析を行い、AI駆動の自動化には深刻なセキュリティコストが伴うことを示した。
敵がシステムテレメトリを操作してAIOpsエージェントを誤解させ、管理するインフラストラクチャの整合性を損なう行動を取ることを実証する。
本稿では, エージェントの行動に影響を及ぼすエラー誘発要求を, エージェントの判断を判断するシステム誤り解釈の正当性によって確実に注入する手法を提案する。
我々の攻撃手法であるAIOpsDoomは、完全に自動化された偵察、ファジィ、LLM駆動の敵入力生成であり、ターゲットシステムの事前の知識なしで動作します。
この脅威に対処するため,我々は,その構造化された性質とユーザ生成コンテンツの役割の最小化を利用して,テレメトリデータを衛生化する防衛機構であるAIOpsShieldを提案する。
実験の結果,AIOpsShieldは正常なエージェント性能に影響を与えることなく,テレメトリベースの攻撃を確実にブロックすることがわかった。
最終的にこの研究は、AIOpsをシステム妥協の新たなアタックベクターとして公開し、セキュリティを意識したAIOps設計に対する緊急の必要性を浮き彫りにしている。
関連論文リスト
- ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。
ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。
マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文 参考訳(メタデータ) (2025-06-03T13:25:40Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳(メタデータ) (2025-05-09T07:40:17Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳(メタデータ) (2025-04-29T17:36:05Z) - Evaluating the Robustness of Multimodal Agents Against Active Environmental Injection Attacks [7.480236701595425]
本研究では,AIエージェントが環境中の「インポスタ」を検出する能力について検討した。
重大な脅威攻撃者は、悪意のある攻撃を環境要素として偽装し、エージェントの実行プロセスにアクティブな障害を注入することができる。
AEIA-MNは,MLLMをベースとしたエージェントのロバスト性を評価するために,モバイルオペレーティングシステムのインタラクション脆弱性を利用する攻撃手法である。
論文 参考訳(メタデータ) (2025-02-18T17:01:28Z) - AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds [12.464941027105306]
AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としており、人間の作業量を削減し、顧客への影響を最小限にする。
大規模言語モデル(LLM)とAIエージェントの最近の進歩は、エンドツーエンドとマルチタスクの自動化を可能にすることで、AIOpsに革命をもたらしている。
マイクロサービスクラウド環境をデプロイし、障害を注入し、ワークロードを生成し、テレメトリデータをエクスポートするフレームワークであるAIOPSLABを紹介します。
論文 参考訳(メタデータ) (2025-01-12T04:17:39Z) - Building AI Agents for Autonomous Clouds: Challenges and Design Principles [17.03870042416836]
AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としている。
このビジョンペーパーは、まず要求をフレーミングし、次に設計決定について議論することで、そのようなフレームワークの基礎を定めています。
アプリケーションをオーケストレーションし,カオスエンジニアリングを使用してリアルタイム障害を注入するエージェント-クラウドインターフェースを活用したプロトタイプ実装であるAIOpsLabと,障害のローカライズと解決を行うエージェントとのインターフェースを提案する。
論文 参考訳(メタデータ) (2024-07-16T20:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。