論文の概要: New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook

• arxiv url: http://arxiv.org/abs/2411.07691v1
• Date: Tue, 12 Nov 2024 10:15:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:36.133938
• Title: New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook
• Title（参考訳）: 事前訓練されたモデルの新たなセキュリティとプライバシ:調査と展望
• Authors: Meng Yang, Tianqing Zhu, Chi Liu, WanLei Zhou, Shui Yu, Philip S. Yu,
• Abstract要約: セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
• 参考スコア（独自算出の注目度）: 54.24701201956833
• License:
• Abstract: Thanks to the explosive growth of data and the development of computational resources, it is possible to build pre-trained models that can achieve outstanding performance on various tasks, such as neural language processing, computer vision, and more. Despite their powerful capabilities, pre-trained models have also sparked attention to the emerging security challenges associated with their real-world applications. Security and privacy issues, such as leaking privacy information and generating harmful responses, have seriously undermined users' confidence in these powerful models. Concerns are growing as model performance improves dramatically. Researchers are eager to explore the unique security and privacy issues that have emerged, their distinguishing factors, and how to defend against them. However, the current literature lacks a clear taxonomy of emerging attacks and defenses for pre-trained models, which hinders a high-level and comprehensive understanding of these questions. To fill the gap, we conduct a systematical survey on the security risks of pre-trained models, proposing a taxonomy of attack and defense methods based on the accessibility of pre-trained models' input and weights in various security test scenarios. This taxonomy categorizes attacks and defenses into No-Change, Input-Change, and Model-Change approaches. With the taxonomy analysis, we capture the unique security and privacy issues of pre-trained models, categorizing and summarizing existing security issues based on their characteristics. In addition, we offer a timely and comprehensive review of each category's strengths and limitations. Our survey concludes by highlighting potential new research opportunities in the security and privacy of pre-trained models.
• Abstract（参考訳）: データの爆発的な成長と計算資源の開発により、ニューラルネットワーク処理やコンピュータビジョンなど、さまざまなタスクにおいて優れたパフォーマンスを達成できる、事前訓練されたモデルを構築することができる。 その強力な能力にもかかわらず、事前訓練されたモデルは、彼らの現実世界のアプリケーションに関連するセキュリティ上の課題に注意を向けている。 プライバシー情報の漏洩や有害な応答の発生など、セキュリティとプライバシの問題は、これらの強力なモデルに対するユーザの信頼を著しく損なう。 モデルパフォーマンスが劇的に向上するにつれ、懸念が高まっている。 研究者たちは、発生したユニークなセキュリティとプライバシの問題、それらの差別化要因、そしてそれらに対する防御方法を探りたいと熱心に考えている。 しかし、現在の文献では、先進的な攻撃と事前訓練されたモデルの防御の明確な分類が欠如しており、これらの問題に対する高レベルかつ包括的な理解を妨げている。 このギャップを埋めるために,各種のセキュリティテストシナリオにおいて,事前訓練されたモデルの入力と重みのアクセシビリティに基づいた攻撃・防御手法の分類法を提案する,事前訓練されたモデルのセキュリティリスクに関する体系的な調査を行う。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。 分類分析では、事前訓練されたモデルのユニークなセキュリティとプライバシの問題を捉え、それらの特徴に基づいて既存のセキュリティの問題を分類し、要約する。 さらに、各カテゴリの強みと限界について、タイムリーかつ包括的なレビューを提供する。 私たちの調査は、事前訓練されたモデルのセキュリティとプライバシに関する、潜在的に新しい研究機会を強調して締めくくります。

関連論文リスト

• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Deep Learning Model Security: Threats and Defenses [25.074630770554105]
  ディープラーニングはAIアプリケーションを変えたが、重要なセキュリティ課題に直面している。 この調査は、これらの脆弱性を調べ、それらのメカニズムとモデル完全性と機密性への影響を詳細に示す。 この調査は、自動化された防御、ゼロトラストアーキテクチャ、大規模AIモデルのセキュリティ上の課題を強調し、今後の方向性を結論付けている。
  論文  参考訳（メタデータ） (2024-12-12T06:04:20Z)
• Membership Inference Attacks and Defenses in Federated Learning: A Survey [25.581491871183815]
  フェデレートラーニング(Federated Learning)は、クライアントがローカルにモデルをトレーニングし、モデル更新を共有してグローバルモデルを開発する、分散機械学習アプローチである。 これは、特定のサンプルがトレーニングセットの一部であるかどうかを判断することで、クライアントのプライバシをターゲットとする。 これらの攻撃は、医療システム内の医療診断など、現実世界の応用における機密情報を侵害する可能性がある。
  論文  参考訳（メタデータ） (2024-12-09T02:39:58Z)
• Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
  本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。 実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
  論文  参考訳（メタデータ） (2023-10-19T11:49:22Z)
• Adversarial Attacks and Defenses in Machine Learning-Powered Networks: A Contemporary Survey [114.17568992164303]
  機械学習とディープニューラルネットワークにおけるアドリアックと防御が注目されている。 本調査は、敵攻撃・防衛技術分野における最近の進歩を包括的に概観する。 検索ベース、意思決定ベース、ドロップベース、物理世界攻撃など、新たな攻撃方法も検討されている。
  論文  参考訳（メタデータ） (2023-03-11T04:19:31Z)
• Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
  データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。 この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。 実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
  論文  参考訳（メタデータ） (2022-02-21T14:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。