論文の概要: LLM-enabled Applications Require System-Level Threat Monitoring

• arxiv url: http://arxiv.org/abs/2602.19844v1
• Date: Mon, 23 Feb 2026 13:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.834216
• Title: LLM-enabled Applications Require System-Level Threat Monitoring
• Title（参考訳）: LLM対応アプリケーションはシステムレベル脅威モニタリングを必要とする
• Authors: Yedi Zhang, Haoyu Wang, Xianglin Yang, Jin Song Dong, Jun Sun,
• Abstract要約: リスクは、例外的な出来事ではなく、期待される運用条件として扱われるべきである、と我々は主張する。 信頼できるデプロイメントの最大の障壁は、モデル機能の改善ではなく、システムレベルの脅威監視メカニズムを確立することだ。
• 参考スコア（独自算出の注目度）: 20.858252815075726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-enabled applications are rapidly reshaping the software ecosystem by using large language models as core reasoning components for complex task execution. This paradigm shift, however, introduces fundamentally new reliability challenges and significantly expands the security attack surface, due to the non-deterministic, learning-driven, and difficult-to-verify nature of LLM behavior. In light of these emerging and unavoidable safety challenges, we argue that such risks should be treated as expected operational conditions rather than exceptional events, necessitating a dedicated incident-response perspective. Consequently, the primary barrier to trustworthy deployment is not further improving model capability but establishing system-level threat monitoring mechanisms that can detect and contextualize security-relevant anomalies after deployment -- an aspect largely underexplored beyond testing or guardrail-based defenses. Accordingly, this position paper advocates systematic and comprehensive monitoring of security threats in LLM-enabled applications as a prerequisite for reliable operation and a foundation for dedicated incident-response frameworks.
• Abstract（参考訳）: LLM対応アプリケーションは、複雑なタスク実行のためのコア推論コンポーネントとして大きな言語モデルを使用することで、ソフトウェアエコシステムを急速に再構築している。 しかし、このパラダイムシフトは基本的に新しい信頼性課題を導入し、LLMの動作の非決定性、学習駆動性、検証が難しい性質のため、セキュリティ攻撃面を著しく拡張する。 こうした新興かつ避けられない安全上の課題を踏まえて、このようなリスクは、例外的な出来事ではなく、期待される運用条件として扱われるべきであり、専用のインシデント・レスポンス・パースペクティブを必要とする。 その結果、信頼できるデプロイメントに対する大きな障壁は、モデル能力をさらに改善するのではなく、デプロイ後のセキュリティ関連異常を検出し、コンテキストに設定可能なシステムレベルの脅威監視メカニズムを確立することです。 そこで本稿では、信頼性の高い運用のための前提条件として、LLM対応アプリケーションにおけるセキュリティ脅威のシステマティックかつ包括的な監視を提唱し、専用のインシデント対応フレームワークの基礎となる。

関連論文リスト

• SecMLOps: A Comprehensive Framework for Integrating Security Throughout the MLOps Lifecycle [26.00890153767978]
  本稿では,Secure Machine Learning Operations(SecMLOps)の概念に基づく。 SecMLOpsは、最初の設計フェーズからデプロイメントや継続的監視に至るまで、セキュリティ上の考慮事項を埋め込むことによって、MLOpsの原則に基づいている。 詳細な歩行者検知システム (PDS) のユースケースは, SecMLOps の実用化を実証している。
  論文  参考訳（メタデータ） (2026-01-15T20:28:48Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)
• ThreatLens: LLM-guided Threat Modeling and Test Plan Generation for Hardware Security Verification [1.0816123715383426]
  ThreatLensは、ハードウェアセキュリティ検証のためのセキュリティ脅威モデリングとテストプラン生成を自動化するマルチエージェントフレームワークである。 このフレームワークは手動検証の労力を削減し、カバレッジを高め、セキュリティ検証に対する構造化された適応可能なアプローチを保証する。
  論文  参考訳（メタデータ） (2025-05-11T03:10:39Z)
• From Texts to Shields: Convergence of Large Language Models and Cybersecurity [15.480598518857695]
  本稿では,大規模言語モデル(LLM)とサイバーセキュリティの収束について検討する。 ソフトウェアおよびネットワークセキュリティ、5G脆弱性分析、生成セキュリティ工学におけるLLMの新たな応用について検討する。
  論文  参考訳（メタデータ） (2025-05-01T20:01:07Z)
• Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics [5.384257830522198]
  重要なアプリケーションにおける大規模言語モデル(LLM)は、重大な信頼性とセキュリティリスクを導入している。 これらの脆弱性は悪意あるアクターによって武器化され、不正アクセス、広範囲にわたる誤報、システムの完全性を侵害した。 本研究では,LLMの異常な挙動を隠蔽法で検出する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T05:58:14Z)
• AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection [47.83354878065321]
  我々は,エージェントの安全性を高めるため,生涯のガードレールであるAGrailを提案する。 AGrailは適応型安全チェック生成、効果的な安全チェック最適化、ツールの互換性と柔軟性を備えている。
  論文  参考訳（メタデータ） (2025-02-17T05:12:33Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• Current state of LLM Risks and AI Guardrails [0.0]
  大規模言語モデル(LLM)はますます洗練され、安全性と信頼性が最優先されるセンシティブなアプリケーションに広くデプロイされるようになる。 これらのリスクは、LSMを望ましい行動と整合させ、潜在的な害を軽減するために、"ガードレール"の開発を必要とする。 本研究は,LLMの展開に伴うリスクを調査し,ガードレールの実装とモデルアライメント技術に対する現在のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-06-16T22:04:10Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。