論文の概要: FRAME : Comprehensive Risk Assessment Framework for Adversarial Machine Learning Threats

• arxiv url: http://arxiv.org/abs/2508.17405v1
• Date: Sun, 24 Aug 2025 15:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.511525
• Title: FRAME : Comprehensive Risk Assessment Framework for Adversarial Machine Learning Threats
• Title（参考訳）: FRAME : 敵機械学習脅威に対する総合的リスクアセスメントフレームワーク
• Authors: Avishag Shapira, Simon Shigol, Asaf Shabtai,
• Abstract要約: さまざまなMLベースシステム間でのAMLリスクを評価するための,最初の包括的なフレームワークであるFRAMEを紹介する。 FRAMEには、3つの重要な次元を体系的に評価することで、AMLのリスクを定量化する新しいリスク評価方法が含まれている。 我々は、コンテキスト認識型リスクアセスメントを可能にするAML攻撃の包括的構造化データセットを開発した。
• 参考スコア（独自算出の注目度）: 11.660800166163272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread adoption of machine learning (ML) systems increased attention to their security and emergence of adversarial machine learning (AML) techniques that exploit fundamental vulnerabilities in ML systems, creating an urgent need for comprehensive risk assessment for ML-based systems. While traditional risk assessment frameworks evaluate conventional cybersecurity risks, they lack ability to address unique challenges posed by AML threats. Existing AML threat evaluation approaches focus primarily on technical attack robustness, overlooking crucial real-world factors like deployment environments, system dependencies, and attack feasibility. Attempts at comprehensive AML risk assessment have been limited to domain-specific solutions, preventing application across diverse systems. Addressing these limitations, we present FRAME, the first comprehensive and automated framework for assessing AML risks across diverse ML-based systems. FRAME includes a novel risk assessment method that quantifies AML risks by systematically evaluating three key dimensions: target system's deployment environment, characteristics of diverse AML techniques, and empirical insights from prior research. FRAME incorporates a feasibility scoring mechanism and LLM-based customization for system-specific assessments. Additionally, we developed a comprehensive structured dataset of AML attacks enabling context-aware risk assessment. From an engineering application perspective, FRAME delivers actionable results designed for direct use by system owners with only technical knowledge of their systems, without expertise in AML. We validated it across six diverse real-world applications. Our evaluation demonstrated exceptional accuracy and strong alignment with analysis by AML experts. FRAME enables organizations to prioritize AML risks, supporting secure AI deployment in real-world environments.
• Abstract（参考訳）: 機械学習(ML)システムの普及により、MLシステムの基本的脆弱性を利用する敵機械学習(AML)技術のセキュリティと台頭に注意が向けられ、MLベースのシステムに対する包括的リスクアセスメントが緊急に必要になった。 従来のリスクアセスメントフレームワークは、従来のサイバーセキュリティのリスクを評価するが、AMLの脅威によって引き起こされる固有の課題に対処する能力は欠如している。 既存のAML脅威評価アプローチは、主に技術的攻撃の堅牢性に注目し、デプロイメント環境やシステム依存性、アタック実現可能性といった重要な現実的要因を見落としている。 包括的なAMLリスクアセスメントの試みはドメイン固有のソリューションに限定されており、多様なシステムにまたがるアプリケーションを防ぐ。 これらの制限に対処するため、さまざまなMLベースのシステムにわたるAMLリスクを評価するための、最初の総合的かつ自動化されたフレームワークであるFRAMEを紹介します。 FRAMEには、ターゲットシステムのデプロイメント環境、多様なAML技術の特徴、先行研究からの経験的洞察の3つの重要な側面を体系的に評価することで、AMLのリスクを定量化する新しいリスク評価方法が含まれている。 FRAMEには、システム固有の評価のための実行可能性スコアリング機構とLLMベースのカスタマイズが組み込まれている。 さらに、コンテキスト認識型リスクアセスメントを可能にするAML攻撃の包括的構造化データセットを開発した。 工学的アプリケーションの観点からは、FRAMEは、AMLの専門知識なしに、システムオーナーがシステムに関する技術的な知識だけで直接使用するように設計された実行可能な結果を提供する。 6つの異なる現実世界のアプリケーションで検証しました。 評価の結果,AMLの専門家による分析は極めて正確であり,強い整合性を示した。 FRAMEは、AMLリスクの優先順位付けを可能にし、現実世界の環境におけるセキュアなAIデプロイメントをサポートする。

関連論文リスト

• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
  Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM) RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。 この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。 本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• System Safety Engineering for Social and Ethical ML Risks: A Case Study [0.5249805590164902]
  政府、産業、アカデミックはML駆動システムにおける害を特定し緩和する努力をしてきた。 既存のアプローチは概ね不整合であり、アドホックであり、有効性は不明である。 特に、この分析が社会的および倫理的リスクを識別し、それらを緩和するための具体的な設計レベルの制御を開発するためにどのように拡張できるかに焦点を当てる。
  論文  参考訳（メタデータ） (2022-11-08T22:58:58Z)
• A Framework for Evaluating the Cybersecurity Risk of Real World, Machine Learning Production Systems [41.470634460215564]
  我々はML生産システムにサイバー攻撃を組み込むMulVAL攻撃グラフ生成および分析フレームワークの拡張を開発する。 提案された拡張を使用することで、セキュリティ実践者はMLコンポーネントを含む環境にアタックグラフ分析手法を適用することができる。
  論文  参考訳（メタデータ） (2021-07-05T05:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。