論文の概要: ThreMoLIA: Threat Modeling of Large Language Model-Integrated Applications
- arxiv url: http://arxiv.org/abs/2504.18369v1
- Date: Fri, 25 Apr 2025 14:11:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.789087
- Title: ThreMoLIA: Threat Modeling of Large Language Model-Integrated Applications
- Title（参考訳）: ThreMoLIA: 大規模言語モデル統合アプリケーションの脅威モデリング
- Authors: Felix Viktor Jedrzejewski, Davide Fucci, Oleksandr Adamov,
- Abstract要約: 大規模言語モデル(LLM)は現在、産業用ソフトウェアアプリケーションに統合されている。
脅威モデリングは、これらの脅威を特定し、緩和を提案するために一般的に使用される。
本研究の目的は,1) ライフサイクルの早い段階での脅威モデリングを行う方法,(2) 既存の脅威モデルを統合する脅威モデリングツールを開発すること,(3) 高品質な脅威モデリングを実現することにある。
- 参考スコア（独自算出の注目度）: 20.010260124984654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are currently being integrated into industrial software applications to help users perform more complex tasks in less time. However, these LLM-Integrated Applications (LIA) expand the attack surface and introduce new kinds of threats. Threat modeling is commonly used to identify these threats and suggest mitigations. However, it is a time-consuming practice that requires the involvement of a security practitioner. Our goals are to 1) provide a method for performing threat modeling for LIAs early in their lifecycle, (2) develop a threat modeling tool that integrates existing threat models, and (3) ensure high-quality threat modeling. To achieve the goals, we work in collaboration with our industry partner. Our proposed way of performing threat modeling will benefit industry by requiring fewer security experts' participation and reducing the time spent on this activity. Our proposed tool combines LLMs and Retrieval Augmented Generation (RAG) and uses sources such as existing threat models and application architecture repositories to continuously create and update threat models. We propose to evaluate the tool offline -- i.e., using benchmarking -- and online with practitioners in the field. We conducted an early evaluation using ChatGPT on a simple LIA and obtained results that encouraged us to proceed with our research efforts.
- Abstract（参考訳）: 大規模言語モデル(LLM)は現在、より複雑なタスクをより少ない時間で実行するのに役立つように、産業用ソフトウェアアプリケーションに統合されている。
しかし、これらのLLM-Integrated Applications (LIA) は攻撃面を拡張し、新しい種類の脅威を導入する。
脅威モデリングは、これらの脅威を特定し、緩和を提案するために一般的に使用される。
しかし、これはセキュリティ実践者の関与を必要とする時間を要するプラクティスである。
私たちの目標は
1) ライフサイクルの早い段階での脅威モデリングを行う方法,(2) 既存の脅威モデルを統合する脅威モデリングツールを開発し,(3) 高品質な脅威モデリングを確実にする。
目標を達成するために、私たちは業界パートナーと共同で作業しています。
我々の提案した脅威モデリングの方法は、セキュリティ専門家の参加を減らし、この活動に費やした時間を短縮することで、業界に利益をもたらすだろう。
提案するツールは,LLMとRAGを組み合わせて,既存の脅威モデルやアプリケーションアーキテクチャリポジトリなどのソースを使用して,脅威モデルを連続的に作成・更新する。
我々は、このツールをオフライン、すなわちベンチマークを使って評価し、現場の実践者とオンラインで評価することを提案する。
簡単なLIAでChatGPTを用いた早期評価を行い,研究の進展を促す結果を得た。
関連論文リスト
- Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。
研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
論文 参考訳（メタデータ） (2025-04-28T16:29:24Z) - OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities [0.0]
我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。
我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。
私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
論文 参考訳（メタデータ） (2025-02-18T19:33:14Z) - Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
テスト時間計算による自動ジェイルブレイクに対する逆推論手法を開発した。
我々のアプローチは、LSMの脆弱性を理解するための新しいパラダイムを導入し、より堅牢で信頼性の高いAIシステムの開発の基礎を築いた。
論文 参考訳（メタデータ） (2025-02-03T18:59:01Z) - Safety at Scale: A Comprehensive Survey of Large Model Safety [298.05093528230753]
我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。
我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
論文 参考訳（メタデータ） (2025-02-02T05:14:22Z) - ThreatModeling-LLM: Automating Threat Modeling using Large Language Models for Banking System [6.960015473151946]
ThreatModeling-LLMは、大規模言語モデルを使用した銀行システムの脅威モデリングを自動化するフレームワークである。
1)データセットの作成、2)プロンプトエンジニアリング、3)モデルファインチューニングの3段階で動作する。
論文 参考訳（メタデータ） (2024-11-26T02:57:28Z) - Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。
本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
論文 参考訳（メタデータ） (2024-06-16T16:43:58Z) - Generative AI in Cybersecurity: A Comprehensive Review of LLM Applications and Vulnerabilities [1.0974825157329373]
本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。
ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。
GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
論文 参考訳（メタデータ） (2024-05-21T13:02:27Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳（メタデータ） (2024-03-19T07:25:02Z) - Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
論文 参考訳（メタデータ） (2023-11-16T16:09:44Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳（メタデータ） (2023-02-23T17:14:38Z) - Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard
Security Attacks [67.86285142381644]
命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。
命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。
本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
論文 参考訳（メタデータ） (2023-02-11T15:57:44Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳（メタデータ） (2022-11-27T21:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。