論文の概要: Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
- arxiv url: http://arxiv.org/abs/2607.28431v1
- Date: Thu, 30 Jul 2026 16:08:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.651777
- Title: Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
- Title（参考訳）: GenAI強化システムの脅威モデリングにおける新たな課題:トレンチから
- Abstract要約: 脅威モデリングは、セキュアなソフトウェアエンジニアリングにおいて依然として中心的なタスクである。
従来の脅威モデリング手法は、GenAI固有のリスクを評価するには不十分である。
本稿では,中小企業におけるGenAI対応脅威モデリング手法の探索的評価から得られた最初の結果について述べる。
- 参考スコア（独自算出の注目度）: 3.5141073261469202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Threat modeling remains a central task in secure software engineering, as it enables the identification of security issues from system architectures. As Generative Artificial Intelligence (GenAI) becomes increasingly pervasive across software systems, traditional threat modeling methods (e.g., STRIDE) are insufficient to assess emerging GenAI-specific risks. In this work, we present the first results from an exploratory assessment of GenAI-aware threat modeling methods in a Small and Medium Enterprise (SME) setting. For this, we conducted a rapid literature review to select relevant techniques and systematically applied three shortlisted methods to an industrial case study involving a GenAI-augmented system. The results highlight differences in the threats identified by each technique and reveal limited support for certain GenAI-specific risk categories, particularly those related to software supply chains and human-centered security issues. We further report practitioners' perceptions of the usability and integration of these methods in SME development workflows, including their perceived effort and adoption challenges.
- Abstract（参考訳）: 脅威モデリングは、システムアーキテクチャからセキュリティ問題の特定を可能にするため、セキュアなソフトウェアエンジニアリングにおいて依然として中心的なタスクである。
生成人工知能(GenAI)がソフトウェアシステム全体に普及するにつれて、従来の脅威モデリング手法(STRIDEなど)は、新たなGenAI固有のリスクを評価するには不十分である。
本稿では,中小企業(中小企業)におけるGenAI対応脅威モデリング手法の探索的評価から得られた最初の結果について述べる。
そこで我々は,関連技術を選択するために,素早い文献レビューを行い,GenAI強化システムを含む産業事例研究に3つのショートリスト手法を体系的に適用した。
結果は、それぞれのテクニックで特定される脅威の違いを強調し、特定のGenAI固有のリスクカテゴリ、特にソフトウェアサプライチェーンや人間中心のセキュリティ問題に関して限定的なサポートを明らかにします。
さらに、中小企業開発ワークフローにおけるこれらの手法のユーザビリティと統合に関する実践者の認識について報告する。
関連論文リスト
- A LINDDUN-based Privacy Threat Modeling Framework for GenAI [13.683645364910568]
我々は,GenAIベースのアプリケーションのプライバシ脅威分析を支援するために,ドメイン固有の新たなプライバシ脅威モデリングフレームワークを導入する。
新しいフレームワークは、LINDDUNの7つのプライバシ脅威タイプのうち3つに影響し、知識ベースに100の新しいGenAIサンプルを導入している。
その効果はAI Agentシステムで検証されており、新しいフレームワークによって包括的なプライバシー分析がサポート可能であることを実証している。
論文 参考訳（メタデータ） (2026-03-06T09:04:32Z) - Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - Generative AI for Biosciences: Emerging Threats and Roadmap to Biosecurity [56.331312963880215]
生物科学における生成人工知能(GenAI)は、バイオテクノロジー、医学、合成生物学を変革している。
この概要は、バイオサイエンスにおけるGenAIの現状と、脱獄攻撃やプライバシーリスクから、自律的なAIエージェントによって引き起こされるデュアルユースな課題まで、出現する脅威ベクターの概要を概説する。
我々は、厳格なデータフィルタリング、開発中の倫理原則との整合性、有害な要求をブロックするためのリアルタイム監視など、GenAIの安全性に対する多層的なアプローチを提唱する。
論文 参考訳（メタデータ） (2025-10-13T00:24:41Z) - GenAI Security: Outsmarting the Bots with a Proactive Testing Framework [0.0]
本研究は,GenAIシステムの悪用に伴うリスクを軽減するために,積極的なセキュリティ対策の必要性について検討する。
本稿では,敵対的攻撃を克服するための主要なアプローチ,ツール,戦略を含むフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-14T12:55:05Z) - A Peek Behind the Curtain: Using Step-Around Prompt Engineering to Identify Bias and Misinformation in GenAI Models [0.0]
我々は、AIシステムに意図しないバイアスと誤情報を導入するインターネットソーストレーニングデータについて論じる。
我々は、研究ツールとセキュリティの脅威の両方として、その二重性を認めながら、潜在的な脆弱性を特定する上で、ステップアラウンドプロンプトが重要な役割を担っていると論じている。
論文 参考訳（メタデータ） (2025-03-19T13:47:28Z) - Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。
このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。
全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
論文 参考訳（メタデータ） (2024-03-11T08:40:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。