論文の概要: Signal-based Model Access Risk Analysis for AI System Operations Security
- arxiv url: http://arxiv.org/abs/2607.16414v1
- Date: Fri, 17 Jul 2026 18:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.146603
- Title: Signal-based Model Access Risk Analysis for AI System Operations Security
- Title(参考訳): AIシステム運用セキュリティのための信号ベースモデルアクセスリスク分析
- Abstract要約: 本稿では,信号を用いたモデルアクセスリスク分類について紹介する。
それは、デプロイされたAIシステムから利用可能な情報信号の性質と豊かさに応じて攻撃者へのアクセスを分類する。
これは、情報公開の段階的にリッチなレベルにわたる回避攻撃の構造化された概要を提供する。
- 参考スコア(独自算出の注目度): 1.7135670735257573
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial intelligence (AI) systems are now ubiquitous across domains such as security, finance, healthcare, consumer technology, and large-scale cloud services, where they process massive volumes of data and make consequential decisions daily. This widespread adoption has created a broad attack surface through which adversaries can manipulate, evade, extract information from, or otherwise subvert deployed models. Depending on system design and exposure, attackers may have very different forms of access: some observe only final decisions, while others receive confidence scores, intermediate representations, or even full model parameters. While previous surveys typically organize evasion attacks into white-box, gray-box, and black-box categories based on the attacker's knowledge of model internals (architecture, parameters, gradients), this taxonomy often conflates different deployment scenarios that provide vastly different output signals, all labeled as ``black-box'' despite enabling fundamentally different attack strategies. Understanding how evasion attack strategies adapt to the specific information signals returned by deployed systems is critical for organizations making procurement and deployment decisions. To address this gap, we introduce the Signal-based Model Access Risk Taxonomy (SMART), a deployment-oriented framework that classifies attacker access according to the nature and richness of the information signals available from deployed AI systems. Using this taxonomy, we provide a structured overview of evasion attacks across progressively richer levels of information exposure, highlighting how deployment interfaces influence attack capabilities and informing more secure AI deployment and procurement decisions.
- Abstract(参考訳): 人工知能(AI)システムは現在、セキュリティ、ファイナンス、ヘルスケア、コンシューマテクノロジ、大規模クラウドサービスなど、さまざまな領域にまたがっており、大量のデータを処理し、連続的な決定を毎日行っています。
この広く採用されている攻撃面は、敵が配置されたモデルから情報を操作、回避、抽出、あるいはそれ以外を逆転できるような広い攻撃面を生み出している。
システム設計やエクスポージャーによっては、攻撃者は最終決定のみを観察する者もいれば、信頼性スコアや中間表現、さらには完全なモデルパラメータを受け取る者もいる。
以前の調査では、攻撃者のモデル内部(アーキテクチャ、パラメータ、勾配)の知識に基づいて、ホワイトボックス、グレーボックス、ブラックボックスのカテゴリへの回避攻撃を組織していたが、この分類は、基本的に異なる攻撃戦略が可能であるにもかかわらず、非常に異なる出力信号を提供する異なるデプロイメントシナリオを混乱させることが多い。
回避攻撃戦略が、デプロイされたシステムから返される特定の情報信号にどのように適応するかを理解することは、調達とデプロイメントの決定を行う組織にとって重要である。
このギャップに対処するために、我々は、配備されたAIシステムから利用可能な情報信号の性質と豊かさに応じて攻撃者へのアクセスを分類するデプロイメント指向フレームワークであるSignal-based Model Access Risk Taxonomy (SMART)を紹介した。
この分類を用いて、私たちは、段階的にリッチな情報露出レベルにわたる回避攻撃の構造化された概要を提供し、デプロイメントインターフェースが攻撃能力にどのように影響するかを強調し、よりセキュアなAIデプロイメントと調達決定を通知します。
関連論文リスト
- AI Model Extraction Attacks: Bypassing Single-Client Assumptions in Defenses [1.247917923987062]
モデル抽出攻撃(MEA)は、敵がプロプライエタリなモデルを複製し、保護された情報を侵害し、オフラインの敵攻撃に備えることを可能にする。
現在の防衛戦略は、攻撃が孤立したアイデンティティに由来するという暗黙の仮定である、Single Client Assumption (SCA) に大きく依存している。
我々は、再現可能なモデルステアリング研究のためにCerberusAIと呼ばれるモジュラーでオープンソースなフレームワークを導入し、それを分散攻撃シナリオをシミュレートするために使用します。
論文 参考訳(メタデータ) (2026-06-02T09:25:29Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳(メタデータ) (2026-05-06T11:59:48Z) - Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。
これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。
この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文 参考訳(メタデータ) (2026-01-29T03:53:25Z) - RAG Security and Privacy: Formalizing the Threat Model and Attack Surface [4.823988025629304]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)と外部文書検索を組み合わせて、より正確で基礎的な応答を生成する自然言語処理における新興のアプローチである。
既存の研究では、RAGがトレーニングデータ記憶や敵対的プロンプトを通じて機密情報を漏洩し、RAGシステムがこれらの脆弱性の多くを継承していることが示されている。
これらのリスクにもかかわらず、現在、RAGシステムの脅威状況を定義する公式なフレームワークは存在しない。
論文 参考訳(メタデータ) (2025-09-24T17:11:35Z) - A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
近年の研究では、敵が対象モデルの機能を複製できることが示されている。
モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。
本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
論文 参考訳(メタデータ) (2025-08-20T19:49:59Z) - Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning [54.26807397329468]
この研究は、分散ディープラーニングシステムにおいて、これまで見過ごされていた脆弱性を探究する。
中間的特徴をインターセプトする敵は、依然として深刻な脅威となる可能性がある。
本稿では,分散環境に特化して設計されたエクスプロイト戦略を提案する。
論文 参考訳(メタデータ) (2025-07-09T20:09:00Z) - A Survey of Model Extraction Attacks and Defenses in Distributed Computing Environments [55.60375624503877]
モデル抽出攻撃(MEA)は、敵がモデルを盗み、知的財産と訓練データを公開することによって、現代の機械学習システムを脅かす。
この調査は、クラウド、エッジ、フェデレーションのユニークな特性がどのように攻撃ベクトルや防御要件を形作るのかを、緊急に理解する必要に起因している。
本研究は, 自動運転車, 医療, 金融サービスといった重要な分野において, 環境要因がセキュリティ戦略にどう影響するかを実証し, 攻撃手法と防衛機構の進化を系統的に検討する。
論文 参考訳(メタデータ) (2025-02-22T03:46:50Z) - Cyber Knowledge Completion Using Large Language Models [1.4883782513177093]
IoT(Internet of Things)をCPS(Cyber-Physical Systems)に統合することで,サイバー攻撃面が拡大した。
CPSのリスクを評価することは、不完全で時代遅れのサイバーセキュリティ知識のため、ますます困難になっている。
近年のLarge Language Models (LLMs) の進歩は、サイバー攻撃による知識の完成を促進するユニークな機会となる。
論文 参考訳(メタデータ) (2024-09-24T15:20:39Z) - "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される
本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
論文 参考訳(メタデータ) (2024-06-26T05:36:23Z) - Beyond Boundaries: A Comprehensive Survey of Transferable Attacks on AI Systems [8.584570228761503]
転送可能な攻撃は、セキュリティ、プライバシー、システム完全性に深刻なリスクをもたらす。
この調査は、7つの主要なカテゴリにわたる転送可能な攻撃に関する、最初の包括的なレビューを提供する。
本稿では,AIシステムへのトランスファー可能な攻撃の基盤となるメカニズムと実践的意味について検討する。
論文 参考訳(メタデータ) (2023-11-20T14:29:45Z) - Zero-shot learning approach to adaptive Cybersecurity using Explainable
AI [0.5076419064097734]
本稿では,セキュリティ情報やイベント管理 (SIEM) や侵入検知 (IDS) といったサイバーセキュリティシステムで直面するアラーム浸水問題に対処する新しいアプローチを提案する。
我々は機械学習(ML)にゼロショット学習法を適用し、MLモデルによって生成された異常の予測に説明を活用する。
このアプローチでは、攻撃に関する事前の知識がなければ、それを識別し、分類に寄与する特徴を解読し、特定のカテゴリで攻撃をバケット化しようとする。
論文 参考訳(メタデータ) (2021-06-21T06:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。