論文の概要: New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook

• arxiv url: http://arxiv.org/abs/2411.07691v1
• Date: Tue, 12 Nov 2024 10:15:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:36.133938
• Title: New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook
• Title（参考訳）: 事前訓練されたモデルの新たなセキュリティとプライバシ:調査と展望
• Authors: Meng Yang, Tianqing Zhu, Chi Liu, WanLei Zhou, Shui Yu, Philip S. Yu,
• Abstract要約: セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
• 参考スコア（独自算出の注目度）: 54.24701201956833
• License:
• Abstract: Thanks to the explosive growth of data and the development of computational resources, it is possible to build pre-trained models that can achieve outstanding performance on various tasks, such as neural language processing, computer vision, and more. Despite their powerful capabilities, pre-trained models have also sparked attention to the emerging security challenges associated with their real-world applications. Security and privacy issues, such as leaking privacy information and generating harmful responses, have seriously undermined users' confidence in these powerful models. Concerns are growing as model performance improves dramatically. Researchers are eager to explore the unique security and privacy issues that have emerged, their distinguishing factors, and how to defend against them. However, the current literature lacks a clear taxonomy of emerging attacks and defenses for pre-trained models, which hinders a high-level and comprehensive understanding of these questions. To fill the gap, we conduct a systematical survey on the security risks of pre-trained models, proposing a taxonomy of attack and defense methods based on the accessibility of pre-trained models' input and weights in various security test scenarios. This taxonomy categorizes attacks and defenses into No-Change, Input-Change, and Model-Change approaches. With the taxonomy analysis, we capture the unique security and privacy issues of pre-trained models, categorizing and summarizing existing security issues based on their characteristics. In addition, we offer a timely and comprehensive review of each category's strengths and limitations. Our survey concludes by highlighting potential new research opportunities in the security and privacy of pre-trained models.
• Abstract（参考訳）: データの爆発的な成長と計算資源の開発により、ニューラルネットワーク処理やコンピュータビジョンなど、さまざまなタスクにおいて優れたパフォーマンスを達成できる、事前訓練されたモデルを構築することができる。 その強力な能力にもかかわらず、事前訓練されたモデルは、彼らの現実世界のアプリケーションに関連するセキュリティ上の課題に注意を向けている。 プライバシー情報の漏洩や有害な応答の発生など、セキュリティとプライバシの問題は、これらの強力なモデルに対するユーザの信頼を著しく損なう。 モデルパフォーマンスが劇的に向上するにつれ、懸念が高まっている。 研究者たちは、発生したユニークなセキュリティとプライバシの問題、それらの差別化要因、そしてそれらに対する防御方法を探りたいと熱心に考えている。 しかし、現在の文献では、先進的な攻撃と事前訓練されたモデルの防御の明確な分類が欠如しており、これらの問題に対する高レベルかつ包括的な理解を妨げている。 このギャップを埋めるために,各種のセキュリティテストシナリオにおいて,事前訓練されたモデルの入力と重みのアクセシビリティに基づいた攻撃・防御手法の分類法を提案する,事前訓練されたモデルのセキュリティリスクに関する体系的な調査を行う。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。 分類分析では、事前訓練されたモデルのユニークなセキュリティとプライバシの問題を捉え、それらの特徴に基づいて既存のセキュリティの問題を分類し、要約する。 さらに、各カテゴリの強みと限界について、タイムリーかつ包括的なレビューを提供する。 私たちの調査は、事前訓練されたモデルのセキュリティとプライバシに関する、潜在的に新しい研究機会を強調して締めくくります。

関連論文リスト

• Model Developmental Safety: A Safety-Centric Method and Applications in Vision-Language Models [75.8161094916476]
  本稿では,既存の画像分類能力向上のために,事前学習された視覚言語モデル(別名CLIPモデル)の開発方法について検討する。 自律走行とシーン認識データセットにおける視覚知覚能力の向上に関する実験は,提案手法の有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-10-04T22:34:58Z)
• Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data [29.842087372804905]
  本稿では,現実シナリオにおけるバックドア攻撃対策の課題について述べる。 本稿では,モデルトレーナーが有毒なデータセット上でクリーンなモデルをトレーニングできるようにする,堅牢でクリーンなデータのないバックドア防御フレームワークであるMellivora Capensis(textttMeCa)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T12:20:19Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models [18.624280305864804]
  大規模言語モデル(LLM)は自然言語処理(NLP)分野の基盤となっている。 本稿では,LSMを標的とした様々な攻撃形態の包括的調査を行う。 モデルアウトプットを操作するための敵攻撃、モデルトレーニングに影響を与えるデータ中毒、データエクスプロイトのトレーニングに関連するプライバシー上の懸念などについて調べる。
  論文  参考訳（メタデータ） (2024-03-03T04:46:21Z)
• Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning [24.059033969435973]
  本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。 比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。 私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
  論文  参考訳（メタデータ） (2023-12-10T01:19:59Z)
• SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
  本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。 実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
  論文  参考訳（メタデータ） (2023-10-19T11:49:22Z)
• Adversarial Attacks and Defenses in Machine Learning-Powered Networks: A Contemporary Survey [114.17568992164303]
  機械学習とディープニューラルネットワークにおけるアドリアックと防御が注目されている。 本調査は、敵攻撃・防衛技術分野における最近の進歩を包括的に概観する。 検索ベース、意思決定ベース、ドロップベース、物理世界攻撃など、新たな攻撃方法も検討されている。
  論文  参考訳（メタデータ） (2023-03-11T04:19:31Z)
• Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
  データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。 この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。 実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
  論文  参考訳（メタデータ） (2022-02-21T14:43:38Z)
• Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
  敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。 本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
  論文  参考訳（メタデータ） (2022-02-15T05:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。