論文の概要: Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
- arxiv url: http://arxiv.org/abs/2606.30373v1
- Date: Mon, 29 Jun 2026 14:34:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.282339
- Title: Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
- Title（参考訳）: あなたのスペースは私のゾーン - 事前トレーニングされたモデルハブ上のAI駆動アプリケーションのセキュリティリスクの最小化
- Abstract要約: 3つの主要なプラットフォームにまたがるAI-Appの最初のシステマティックなセキュリティ分析を提示する。
5つの脅威カテゴリと10の攻撃ベクトルを識別する。
- 参考スコア（独自算出の注目度）: 21.637785874073444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-powered Applications (AI-Apps), hosted on platforms such as Hugging Face, are democratizing access to pre-trained models through online inference and fine-tuning services. While lowering AI adoption barriers, these platforms introduce an unexplored attack surface, as AI-Apps are often developed by untrusted parties with weak isolation and misconfigured security settings. In this paper, we present the first systematic security analysis of AI-Apps across three leading platforms. To structure our investigation, we map the AI-App lifecycle to established risk taxonomies (e.g., OWASP), identifying five threat categories and ten attack vectors ranging from generic web flaws to high-impact architectural issues. Our analysis reveals critical failures including broken access control, insecure resource reuse, insufficient input validation, and sensitive data exposure. Notably, we uncover three novel architectural vulnerabilities inherent to platform design and demonstrate how traditional issues (e.g., world-readable logs) are uniquely amplified in this ecosystem. To assess real-world impact, we develop an analysis framework Insightor and apply it to over 970,000 public AI-Apps. Alarmingly, we find thousands of apps leaking credentials, hundreds containing input injection vulnerabilities that allow arbitrary code execution, and tens harboring embedded backdoors -- indicating active exploitation. We have responsibly disclosed all findings to the affected platforms and developers.
- Abstract（参考訳）: Hugging FaceなどのプラットフォームでホストされているAIベースのアプリケーション(AI-Apps)は、オンライン推論と微調整サービスを通じて、事前トレーニングされたモデルへのアクセスを民主化している。
AIの採用障壁を低くする一方で、これらのプラットフォームは未解決の攻撃面を導入している。
本稿では,3つの主要なプラットフォームにまたがるAIアプリケーションを対象とした,最初のシステマティックセキュリティ解析について述べる。
調査を構造化するために、AI-Appライフサイクルを確立されたリスク分類(OWASPなど)にマッピングし、5つの脅威カテゴリと10の攻撃ベクトルを特定します。
分析の結果,アクセス制御の故障,安全性の低い資源再利用,入力検証の不十分,機密データ露出などの重大な障害が明らかになった。
特に、プラットフォーム設計に固有の3つの新しいアーキテクチャ上の脆弱性を発見し、このエコシステムにおいて従来の問題(例えば、世界可読ログ)がいかに一意に増幅されているかを示した。
実世界の影響を評価するため、Insightor分析フレームワークを開発し、970,000以上の公開AIアプリケーションに適用する。
同時に、何千ものアプリが認証情報を漏洩し、任意のコード実行を可能にするインプットインジェクションの脆弱性を含む数百のアプリが見つかった。
影響を受けるプラットフォームや開発者に対して,すべての調査結果を責任を持って公開しています。
関連論文リスト
- A Measurement Study of Cryptographic Misuse in Embodied AI Mobile Applications [18.86199323484397]
EAI(Embodied AI)モバイルアプリケーションは、補助ユーザインターフェースからアクティブなコントロールパスコンポーネントへと進化している。
本研究は,EAIモバイルエコシステムにおける暗号誤用に関する大規模な研究である。
論文 参考訳（メタデータ） (2026-06-18T09:24:22Z) - ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
低レベルのプログラム推論を必要とするため、爆発は難しい作業です。
その重要性と診断価値にもかかわらず、搾取は未評価のままである。
ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
論文 参考訳（メタデータ） (2026-05-11T18:00:14Z) - SoK: The Attack Surface of Agentic AI -- Tools, and Autonomy [3.340255811686752]
最近のAIシステムは、大規模な言語モデルとツール、検索強化生成(RAG)による外部知識を組み合わせている。
このエージェントAIパラダイムは、能力を大幅に拡張すると同時に、攻撃面を大きく拡大する。
我々は、即時レベルの注射、知識ベース中毒、ツール/プラグインエクスプロイト、マルチエージェント緊急脅威にまたがる攻撃の包括的分類を開発する。
論文 参考訳（メタデータ） (2026-03-24T08:21:51Z) - Cisco Integrated AI Security and Safety Framework Report [3.162988913169078]
本稿では,CiscoのIntegrated AI Security and Safety Framework(AI Security Framework)について述べる。
このフレームワークは、AIリスクの全範囲を分類、統合、運用するために使用することができる。
モダリティ、エージェント、パイプライン、そしてより広範なエコシステムにわたって、AIセキュリティとAI安全性を統合している。
論文 参考訳（メタデータ） (2025-12-15T02:12:12Z) - An Empirical Study on the Security Vulnerabilities of GPTs [48.12756684275687]
GPTは、OpenAIの大規模言語モデルに基づいた、カスタマイズされたAIエージェントの一種である。
本稿では,GPTのセキュリティ脆弱性に関する実証的研究について述べる。
論文 参考訳（メタデータ） (2025-11-28T13:30:25Z) - BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents [8.923854146974783]
本稿では,実際のHTMLペイロードに埋め込まれた攻撃のベンチマークを合成し,インジェクション攻撃の現場を考察する。
私たちのベンチマークは、単なるテキスト出力ではなく、現実世界のアクションに影響を与えるインジェクションを強調することで、以前の作業を超えています。
アーキテクチャとモデルに基づく防御を両立する多層防衛戦略を提案する。
論文 参考訳（メタデータ） (2025-11-25T18:28:35Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳（メタデータ） (2025-09-03T15:00:28Z) - A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
近年の研究では、敵が対象モデルの機能を複製できることが示されている。
モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。
本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
論文 参考訳（メタデータ） (2025-08-20T19:49:59Z) - ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants [21.35387344588118]
ASTRAはAIによるコード生成とセキュリティガイダンスシステムの安全性上の欠陥を明らかにするために設計された自動化システムである。
ASTRAは、既存のテクニックよりも11～66%多くの問題を見つけ、17%の効果的なアライメントトレーニングにつながるテストケースを生成します。
論文 参考訳（メタデータ） (2025-08-05T21:57:52Z) - Real AI Agents with Fake Memories: Fatal Context Manipulation Attacks on Web3 Agents [36.49717045080722]
本稿では,ブロックチェーンベースの金融エコシステムにおけるAIエージェントの脆弱性を,現実のシナリオにおける敵対的脅威に曝露した場合に検討する。
保護されていないコンテキストサーフェスを利用する包括的攻撃ベクトルであるコンテキスト操作の概念を導入する。
ElizaOSを使用することで、不正なインジェクションをプロンプトや履歴レコードに注入することで、不正なアセット転送やプロトコル違反が引き起こされることを示す。
論文 参考訳（メタデータ） (2025-03-20T15:44:31Z) - When Authentication Is Not Enough: On the Security of Behavioral-Based Driver Authentication Systems [53.2306792009435]
我々はランダムフォレストとリカレントニューラルネットワークアーキテクチャに基づく2つの軽量ドライバ認証システムを開発した。
我々は,SMARTCANとGANCANという2つの新しいエスケープアタックを開発することで,これらのシステムに対する攻撃を最初に提案する。
コントリビューションを通じて、これらのシステムを安全に採用する実践者を支援し、車の盗難を軽減し、ドライバーのセキュリティを高める。
論文 参考訳（メタデータ） (2023-06-09T14:33:26Z) - An Empirical Study of AI Techniques in Mobile Applications [10.43634556488264]
私たちは、AIアプリケーションに関する最も広範な実証的研究を行い、デバイス上でのMLアプリ、デバイス上でのDLアプリ、そしてAIサービスをサポートする(クラウドベースの)アプリを調査しました。
私たちの研究は、AIアプリ開発者、ユーザ、AI R&Dに強く影響しています。
論文 参考訳（メタデータ） (2022-12-03T15:31:34Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳（メタデータ） (2022-02-28T18:27:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。