論文の概要: An Automated, Scalable Machine Learning Model Inversion Assessment Pipeline
- arxiv url: http://arxiv.org/abs/2509.04214v1
- Date: Thu, 04 Sep 2025 13:39:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-05 20:21:10.175938
- Title: An Automated, Scalable Machine Learning Model Inversion Assessment Pipeline
- Title(参考訳): 自動拡張型機械学習モデルインバージョンアセスメントパイプライン
- Authors: Tyler Shumaker, Jessica Carpenter, David Saranchak, Nathaniel D. Bastian,
- Abstract要約: 我々は,データプライバシ損失のリスクをMIAから定量化する新しいDT&Eツールを提案する。
我々のパイプラインは、インバージョンと視覚言語モデル(VLM)を組み合わせて、スケーラブルな分析を可能にしながら、効率を向上させる。
- 参考スコア(独自算出の注目度): 5.837629975806515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) models have the potential to transform military battlefields, presenting a large external pressure to rapidly incorporate them into operational settings. However, it is well-established that these ML models are vulnerable to a number of adversarial attacks throughout the model deployment pipeline that threaten to negate battlefield advantage. One broad category is privacy attacks (such as model inversion) where an adversary can reverse engineer information from the model, such as the sensitive data used in its training. The ability to quantify the risk of model inversion attacks (MIAs) is not well studied, and there is a lack of automated developmental test and evaluation (DT&E) tools and metrics to quantify the effectiveness of privacy loss of the MIA. The current DT&E process is difficult because ML model inversions can be hard for a human to interpret, subjective when they are interpretable, and difficult to quantify in terms of inversion quality. Additionally, scaling the DT&E process is challenging due to many ML model architectures and data modalities that need to be assessed. In this work, we present a novel DT&E tool that quantifies the risk of data privacy loss from MIAs and introduces four adversarial risk dimensions to quantify privacy loss. Our DT&E pipeline combines inversion with vision language models (VLMs) to improve effectiveness while enabling scalable analysis. We demonstrate effectiveness using multiple MIA techniques and VLMs configured for zero-shot classification and image captioning. We benchmark the pipeline using several state-of-the-art MIAs in the computer vision domain with an image classification task that is typical in military applications. In general, our innovative pipeline extends the current model inversion DT&E capabilities by improving the effectiveness and scalability of the privacy loss analysis in an automated fashion.
- Abstract(参考訳): 機械学習(ML)モデルには、軍事戦場を変革する可能性があり、運用環境に迅速に組み込むための大きな外部プレッシャーが提示される。
しかしながら、これらのMLモデルは、戦場の優位性を損なう恐れのあるモデルデプロイメントパイプライン全体にわたって、多くの敵攻撃に対して脆弱である、という確固たる根拠がある。
1つの大きなカテゴリはプライバシ攻撃(モデル反転など)であり、敵はトレーニングで使用されるセンシティブなデータなど、モデルからエンジニア情報をリバースすることができる。
モデル逆攻撃(MIA)のリスクを定量化する能力は十分に研究されておらず、MIAのプライバシ損失の有効性を定量化するための自動開発テスト・評価(DT&E)ツールやメトリクスが欠如している。
現在のDT&Eプロセスは、MLモデルの逆転は解釈が困難であり、解釈可能なときに主観的であり、反転品質の点で定量化が難しいため、困難である。
さらに、多くのMLモデルアーキテクチャと評価が必要なデータモダリティのため、DT&Eプロセスのスケーリングは困難である。
本研究では,MIAからのデータプライバシー損失のリスクを定量化する新しいDT&Eツールを提案する。
我々のDT&Eパイプラインは、インバージョンと視覚言語モデル(VLM)を組み合わせて、スケーラブルな解析を可能にしながら、効率を向上させる。
ゼロショット分類と画像キャプションのための複数のMIA技術とVLMを用いて実効性を示す。
我々は、コンピュータビジョン領域のいくつかの最先端MIAを用いてパイプラインをベンチマークし、軍事用途に典型的な画像分類タスクを施した。
一般に、我々の革新的なパイプラインは、自動でプライバシー損失分析の有効性とスケーラビリティを向上させることで、現在のモデル逆DT&E機能を拡張します。
関連論文リスト
- A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
近年の研究では、敵が対象モデルの機能を複製できることが示されている。
モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。
本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
論文 参考訳(メタデータ) (2025-08-20T19:49:59Z) - Model Inversion Attacks on Vision-Language Models: Do They Leak What They Learn? [22.1843868052012]
モデル反転(MI)攻撃は、トレーニングされたニューラルネットワークからプライベートトレーニングデータを再構築することで、重大なプライバシーリスクを引き起こす。
視覚訓練データを漏洩する際の視覚言語モデル(VLM)の脆弱性を理解するための最初の研究を行う。
本稿では,新しいトークンベースおよびシーケンスベースモデルインバージョン戦略を提案する。
論文 参考訳(メタデータ) (2025-08-06T05:30:05Z) - Effective Backdoor Mitigation in Vision-Language Models Depends on the Pre-training Objective [71.39995120597999]
現代の機械学習モデルは、敵の攻撃やバックドア攻撃に弱い。
このようなリスクは、マルチモーダルモデルをトレーニングするための大規模なインターネットソースデータセット収集の一般的なプラクティスによって高められている。
CleanCLIPは、マルチモーダルモデルにおけるバックドア効果を軽減するための最先端のアプローチである。
論文 参考訳(メタデータ) (2023-11-25T06:55:13Z) - Scale-MIA: A Scalable Model Inversion Attack against Secure Federated Learning via Latent Space Reconstruction [25.668769232903117]
フェデレーション学習は、参加者のデータプライバシを保護する能力で知られている。
最近出現したモデルインバージョン攻撃 (MIA) は、悪意のあるパラメータサーバが、モデルの更新から個々のユーザーのローカルデータサンプルを再構築できることを示した。
集約されたモデル更新から局所的なトレーニングサンプルを効率的かつ正確に再構築できる新しいMIAであるScale-MIAを提案する。
論文 参考訳(メタデータ) (2023-11-10T00:53:22Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - DODEM: DOuble DEfense Mechanism Against Adversarial Attacks Towards
Secure Industrial Internet of Things Analytics [8.697883716452385]
I-IoT環境における敵攻撃の検出と軽減のための二重防御機構を提案する。
まず、新規性検出アルゴリズムを用いて、サンプルに対して逆攻撃があるかどうかを検知する。
攻撃があった場合、敵の再訓練はより堅牢なモデルを提供する一方、通常のサンプルに対して標準的な訓練を適用する。
論文 参考訳(メタデータ) (2023-01-23T22:10:40Z) - Defending Variational Autoencoders from Adversarial Attacks with MCMC [74.36233246536459]
変分オートエンコーダ(VAE)は、様々な領域で使用される深部生成モデルである。
以前の研究が示すように、視覚的にわずかに修正された入力に対する予期せぬ潜在表現と再構成を生成するために、VAEを簡単に騙すことができる。
本稿では, 敵攻撃構築のための目的関数について検討し, モデルのロバスト性を評価する指標を提案し, 解決策を提案する。
論文 参考訳(メタデータ) (2022-03-18T13:25:18Z) - Adversarial Examples in Deep Learning for Multivariate Time Series
Regression [0.0]
この研究は、逆時系列の例に対するディープラーニング回帰モデル(DL)の脆弱性について考察する。
我々は、CNN、Long Short-Term Memory(LSTM)、Gated Recurrent Unit(GRU)の逆時系列例を作成する。
その結果, 評価されたDL回帰モデルはすべて, 敵攻撃に対して脆弱であり, 転送可能であり, 破滅的な結果をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。