論文の概要: A Large-Scale Exploit Instrumentation Study of AI/ML Supply Chain Attacks in Hugging Face Models

• arxiv url: http://arxiv.org/abs/2410.04490v1
• Date: Sun, 6 Oct 2024 14:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 07:06:24.891981
• Title: A Large-Scale Exploit Instrumentation Study of AI/ML Supply Chain Attacks in Hugging Face Models
• Title（参考訳）: ジャグリング顔モデルにおけるAI/MLサプライチェーンアタックの大規模エクスプロイト計測
• Authors: Beatrice Casey, Joanna C. S. Santos, Mehdi Mirakhorli,
• Abstract要約: Hugging Faceは、開発者が他のモデルを共有してダウンロードできるオープンソースのプラットフォームとして機能する。 Pythonのシリアライゼーションメソッドは、オブジェクトインジェクションに弱いため、安全ではないと考えられている。 本稿では、Hugging Faceにおけるこれらの安全でないシリアライズ手法の広範性について検討する。
• 参考スコア（独自算出の注目度）: 3.6731536660959985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of machine learning (ML) techniques has led to ample opportunities for developers to develop and deploy their own models. Hugging Face serves as an open source platform where developers can share and download other models in an effort to make ML development more collaborative. In order for models to be shared, they first need to be serialized. Certain Python serialization methods are considered unsafe, as they are vulnerable to object injection. This paper investigates the pervasiveness of these unsafe serialization methods across Hugging Face, and demonstrates through an exploitation approach, that models using unsafe serialization methods can be exploited and shared, creating an unsafe environment for ML developers. We investigate to what extent Hugging Face is able to flag repositories and files using unsafe serialization methods, and develop a technique to detect malicious models. Our results show that Hugging Face is home to a wide range of potentially vulnerable models.
• Abstract（参考訳）: 機械学習(ML)技術の開発は、開発者が独自のモデルを開発し、デプロイする十分な機会をもたらしました。 Hugging Faceはオープンソースプラットフォームとして機能し、開発者はML開発をより協力的にするために、他のモデルを共有し、ダウンロードすることができる。 モデルを共有するためには、まずシリアライズする必要がある。 Pythonのシリアライゼーションメソッドは、オブジェクトインジェクションに弱いため、安全ではないと考えられている。 本稿では、Hugging Faceにおけるこれらの安全でないシリアライズ手法の広範性について検討し、その利用方法を通じて、安全でないシリアライズ手法を用いたモデルを活用、共有し、ML開発者のための安全でない環境を作成することを実証する。 安全でないシリアライズ手法を用いて,Hugging Faceがリポジトリやファイルにフラグを付けることができるかを調査し,悪意のあるモデルを検出する手法を開発した。 以上の結果から,Hugging Faceにはさまざまな脆弱性のあるモデルが存在することが示唆された。

関連論文リスト

• Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs [10.252989233081395]
  本稿では,Hugging Faceプラットフォームに着目した,事前訓練されたモデルハブに対する悪意のあるコード中毒攻撃に関する最初の系統的研究について述べる。 我々は、データセット読み込みスクリプト抽出、モデルデシリアライズ、パターンマッチングを組み合わせたHugging Face用に設計されたエンドツーエンドパイプラインであるMalHugを提案する。 MalHugは705Kモデルと176Kデータセットを監視し、91の悪意のあるモデルと9の悪意のあるデータセット読み込みスクリプトを発見した。
  論文  参考訳（メタデータ） (2024-09-14T08:47:22Z)
• Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging [25.327483618051378]
  モデル統合シナリオにおけるIP保護手法の堅牢性に関する最初の研究を行う。 実験結果から,現在のLarge Language Model (LLM) の透かし技術は統合されたモデルでは生き残れないことが示唆された。 本研究の目的は,モデルIP保護手法の堅牢性評価において,モデルマージが不可欠であることを示すことである。
  論文  参考訳（メタデータ） (2024-04-08T04:30:33Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Towards Scalable and Robust Model Versioning [30.249607205048125]
  ディープラーニングモデルへのアクセスを目的とした悪意ある侵入が増えている。 異なる攻撃特性を持つモデルの複数バージョンを生成する方法を示す。 モデル学習データにパラメータ化された隠れ分布を組み込むことでこれを実現できることを示す。
  論文  参考訳（メタデータ） (2024-01-17T19:55:49Z)
• SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
  本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。 実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
  論文  参考訳（メタデータ） (2023-10-19T11:49:22Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated Learning [77.27443885999404]
  Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。 本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:30:16Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。