論文の概要: A Rusty Link in the AI Supply Chain: Detecting Evil Configurations in Model Repositories

• arxiv url: http://arxiv.org/abs/2505.01067v1
• Date: Fri, 02 May 2025 07:16:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.945391
• Title: A Rusty Link in the AI Supply Chain: Detecting Evil Configurations in Model Repositories
• Title（参考訳）: AIサプライチェーンのラッキーリンク:モデルリポジトリにおける悪設定の検出
• Authors: Ziqi Ding, Qian Fu, Junchen Ding, Gelei Deng, Yi Liu, Yuekang Li,
• Abstract要約: 本研究は,Hugging Face上での悪意のある構成に関する最初の包括的研究である。 特に、元々モデルの設定を意図した設定ファイルは、不正なコードを実行するために利用することができる。
• 参考スコア（独自算出の注目度）: 9.095642871258455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large language models (LLMs) have spurred the development of diverse AI applications from code generation and video editing to text generation; however, AI supply chains such as Hugging Face, which host pretrained models and their associated configuration files contributed by the public, face significant security challenges; in particular, configuration files originally intended to set up models by specifying parameters and initial settings can be exploited to execute unauthorized code, yet research has largely overlooked their security compared to that of the models themselves; in this work, we present the first comprehensive study of malicious configurations on Hugging Face, identifying three attack scenarios (file, website, and repository operations) that expose inherent risks; to address these threats, we introduce CONFIGSCAN, an LLM-based tool that analyzes configuration files in the context of their associated runtime code and critical libraries, effectively detecting suspicious elements with low false positive rates and high accuracy; our extensive evaluation uncovers thousands of suspicious repositories and configuration files, underscoring the urgent need for enhanced security validation in AI model hosting platforms.
• Abstract（参考訳）: 大規模な言語モデル(LLM)の最近の進歩は、コード生成やビデオ編集からテキスト生成に至るまで、多様なAIアプリケーションの開発を加速させている。しかし、事前訓練されたモデルと関連する構成ファイルをホストするHugging FaceのようなAIサプライチェーンは、重大なセキュリティ上の課題に直面している。特に、パラメータと初期設定を指定してモデルを設定することを意図した構成ファイルは、未承認コードを実行するために利用される。

関連論文リスト

• T2VShield: Model-Agnostic Jailbreak Defense for Text-to-Video Models [88.63040835652902]
  テキストからビデオモデルへの攻撃はジェイルブレイク攻撃に弱いため、特別な方法で安全メカニズムをバイパスし、有害または安全でないコンテンツの生成につながる。 我々は、ジェイルブレイクの脅威からテキストからビデオモデルを守るために設計された包括的でモデルに依存しない防衛フレームワークであるT2VShieldを提案する。 本手法は,既存の防御の限界を特定するために,入力,モデル,出力の段階を体系的に解析する。
  論文  参考訳（メタデータ） (2025-04-22T01:18:42Z)
• Zero-Trust Artificial Intelligence Model Security Based on Moving Target Defense and Content Disarm and Reconstruction [4.0208298639821525]
  本稿では,モデル動物園とファイル転送機構を通じてAIモデルを配布する際の課題について検討する。 モデルファイルの物理的なセキュリティは重要であり、厳格なアクセス制御とアタック防止ソリューションを必要とする。 これは、既知のAIモデルリポジトリとHuggingFaceモデル動物園からの実際のマルウェア攻撃に対して検証されている間、100%の武装解除率を示す。
  論文  参考訳（メタデータ） (2025-03-03T17:32:19Z)
• Merger-as-a-Stealer: Stealing Targeted PII from Aligned LLMs with Model Merging [49.270050440553575]
  この攻撃を実現するための2段階フレームワークである textttMerger-as-a-Stealer を提案する。 まず、攻撃者は悪意のあるモデルを微調整し、PII関連のクエリに応答するよう強制する。 次に、攻撃者は直接PII関連クエリをマージしたモデルに入力し、ターゲットPIIを抽出する。
  論文  参考訳（メタデータ） (2025-02-22T05:34:53Z)
• DocMIA: Document-Level Membership Inference Attacks against DocVQA Models [52.13818827581981]
  DocVQAモデルに特化された2つの新しいメンバーシップ推論攻撃を導入する。 提案手法は,さまざまなDocVQAモデルやデータセットに対して,既存の最先端メンバシップ推論よりも優れている。
  論文  参考訳（メタデータ） (2025-02-06T00:58:21Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs [10.252989233081395]
  本稿では,Hugging Faceプラットフォームに着目した,事前訓練されたモデルハブに対する悪意のあるコード中毒攻撃に関する最初の系統的研究について述べる。 我々は、データセット読み込みスクリプト抽出、モデルデシリアライズ、パターンマッチングを組み合わせたHugging Face用に設計されたエンドツーエンドパイプラインであるMalHugを提案する。 MalHugは705Kモデルと176Kデータセットを監視し、91の悪意のあるモデルと9の悪意のあるデータセット読み込みスクリプトを発見した。
  論文  参考訳（メタデータ） (2024-09-14T08:47:22Z)
• A Lean Transformer Model for Dynamic Malware Analysis and Detection [0.0]
  マルウェアは現代のコンピューティングの世界にとって急速に成長する脅威であり、既存の防衛線はこの問題に対処するのに十分な効率性を持っていない。 これまでの研究では、実行レポートから抽出したニューラルネットワークとAPI呼び出しシーケンスを活用することに成功した。 本稿では,悪意のあるファイルを検出するために,Transformersアーキテクチャに基づくエミュレーションオンリーモデルを設計する。
  論文  参考訳（メタデータ） (2024-08-05T08:46:46Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。