論文の概要: Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs

• arxiv url: http://arxiv.org/abs/2409.09368v1
• Date: Sat, 14 Sep 2024 08:47:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:09:38.713739
• Title: Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs
• Title（参考訳）: モデルはコードである - トレーニング済みのモデルハブ上での攻撃に対する悪意のあるコード攻撃の測定に向けて
• Authors: Jian Zhao, Shenao Wang, Yanjie Zhao, Xinyi Hou, Kailong Wang, Peiming Gao, Yuanchao Zhang, Chen Wei, Haoyu Wang,
• Abstract要約: 本稿では,Hugging Faceプラットフォームに着目した,事前訓練されたモデルハブに対する悪意のあるコード中毒攻撃に関する最初の系統的研究について述べる。 我々は、データセット読み込みスクリプト抽出、モデルデシリアライズ、パターンマッチングを組み合わせたHugging Face用に設計されたエンドツーエンドパイプラインであるMalHugを提案する。 MalHugは705Kモデルと176Kデータセットを監視し、91の悪意のあるモデルと9の悪意のあるデータセット読み込みスクリプトを発見した。
• 参考スコア（独自算出の注目度）: 10.252989233081395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of pre-trained models (PTMs) and datasets has led to the emergence of centralized model hubs like Hugging Face, which facilitate collaborative development and reuse. However, recent security reports have uncovered vulnerabilities and instances of malicious attacks within these platforms, highlighting growing security concerns. This paper presents the first systematic study of malicious code poisoning attacks on pre-trained model hubs, focusing on the Hugging Face platform. We conduct a comprehensive threat analysis, develop a taxonomy of model formats, and perform root cause analysis of vulnerable formats. While existing tools like Fickling and ModelScan offer some protection, they face limitations in semantic-level analysis and comprehensive threat detection. To address these challenges, we propose MalHug, an end-to-end pipeline tailored for Hugging Face that combines dataset loading script extraction, model deserialization, in-depth taint analysis, and heuristic pattern matching to detect and classify malicious code poisoning attacks in datasets and models. In collaboration with Ant Group, a leading financial technology company, we have implemented and deployed MalHug on a mirrored Hugging Face instance within their infrastructure, where it has been operational for over three months. During this period, MalHug has monitored more than 705K models and 176K datasets, uncovering 91 malicious models and 9 malicious dataset loading scripts. These findings reveal a range of security threats, including reverse shell, browser credential theft, and system reconnaissance. This work not only bridges a critical gap in understanding the security of the PTM supply chain but also provides a practical, industry-tested solution for enhancing the security of pre-trained model hubs.
• Abstract（参考訳）: 事前トレーニングされたモデル(PTM)とデータセットの普及により、Hugging Faceのような集中型モデルハブが出現し、共同開発と再利用が容易になった。 しかし、最近のセキュリティレポートは、これらのプラットフォームにおける悪意のある攻撃の脆弱性とインスタンスを明らかにし、セキュリティ上の懸念の高まりを強調している。 本稿では,Hugging Faceプラットフォームに着目した,事前訓練されたモデルハブに対する悪意のあるコード中毒攻撃に関する最初の体系的研究について述べる。 我々は、包括的脅威分析を行い、モデルフォーマットの分類を開発し、脆弱なフォーマットの根本原因分析を行う。 FicklingやModelScanといった既存のツールはいくつかの保護を提供するが、セマンティックレベルの分析と包括的な脅威検出の制限に直面している。 これらの課題に対処するために、Hugging Face用に設計されたエンドツーエンドパイプラインであるMalHugを提案する。これは、データセットの読み込みスクリプト抽出、モデルのデシリアライゼーション、詳細なテナント分析、およびヒューリスティックパターンマッチングを組み合わせて、データセットやモデルにおける悪意のあるコード中毒攻撃を検出し、分類する。 主要な金融技術企業であるAnt Groupと共同で、MalHugをインフラストラクチャ内のミラー化されたHugging Faceインスタンスに実装し、デプロイしました。 この期間にMalHugは705Kモデルと176Kデータセットを監視し、91の悪意のあるモデルと9の悪意のあるデータセットローディングスクリプトを発見した。 これらの結果から,リバースシェル,ブラウザ認証盗難,システム偵察など,さまざまなセキュリティ上の脅威が明らかになった。 この作業は、PTMサプライチェーンのセキュリティを理解する上で重要なギャップを埋めるだけでなく、事前訓練されたモデルハブのセキュリティを強化するための実践的で産業的にテストされたソリューションも提供する。

関連論文リスト

• Model-agnostic clean-label backdoor mitigation in cybersecurity environments [6.857489153636145]
  近年の研究では、セキュリティ分類タスク用に設計されたモデルにバックドアを注入する、一連の悪質な訓練時間攻撃が表面化している。 我々は、サイバーセキュリティ脅威モデルの洞察を活用して、これらのクリーンラベル中毒攻撃を効果的に軽減する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T03:25:40Z)
• FullCert: Deterministic End-to-End Certification for Training and Inference of Neural Networks [62.897993591443594]
  FullCertは、音と決定論的境界を持つ最初のエンドツーエンドの認証器である。 2つのデータセットに対してFullCertの有効性を実験的に示す。
  論文  参考訳（メタデータ） (2024-06-17T13:23:52Z)
• Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data [29.842087372804905]
  本稿では,現実シナリオにおけるバックドア攻撃対策の課題について述べる。 本稿では,モデルトレーナーが有毒なデータセット上でクリーンなモデルをトレーニングできるようにする,堅牢でクリーンなデータのないバックドア防御フレームワークであるMellivora Capensis(textttMeCa)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T12:20:19Z)
• Measuring Impacts of Poisoning on Model Parameters and Embeddings for Large Language Models of Code [4.305373051747465]
  大規模言語モデル(LLM)はソフトウェア開発プラクティスに革命をもたらしたが、その安全性に関する懸念が生まれている。 バックドア攻撃には、トレーニングデータにトリガーを挿入することが含まれており、攻撃者はモデルの振る舞いを悪意を持って操作することができる。 本稿では,コードモデルにおける潜在的なバックドア信号を検出するためのモデルパラメータの解析に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-19T06:53:20Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
  バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす 図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。 提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
  論文  参考訳（メタデータ） (2024-02-27T12:42:07Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
  データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。 この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。 実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
  論文  参考訳（メタデータ） (2022-02-21T14:43:38Z)
• Model Extraction Attacks on Graph Neural Networks: Taxonomy and Realization [40.37373934201329]
  GNNモデルに対するモデル抽出攻撃について検討・開発する。 まず、GNNモデル抽出の文脈で脅威モデリングを定式化する。 次に、攻撃を実装するために、各脅威においてアクセス可能な知識を利用する詳細な方法を示す。
  論文  参考訳（メタデータ） (2020-10-24T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。