論文の概要: 10 Security and Privacy Problems in Large Foundation Models

• arxiv url: http://arxiv.org/abs/2110.15444v3
• Date: Fri, 9 Jun 2023 15:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 18:44:41.198657
• Title: 10 Security and Privacy Problems in Large Foundation Models
• Title（参考訳）: 10 大規模ファンデーションモデルにおけるセキュリティとプライバシの問題
• Authors: Jinyuan Jia, Hongbin Liu, Neil Zhenqiang Gong
• Abstract要約: 事前トレーニングされたファンデーションモデルは、AIエコシステムの'オペレーティングシステム'のようなものです。 事前訓練されたファンデーションモデルのセキュリティやプライバシの問題は、AIエコシステムの単一障害点につながる。 本章では、事前訓練された基礎モデルのセキュリティとプライバシに関する10の基本的な問題について論じる。
• 参考スコア（独自算出の注目度）: 69.70602220716718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models--such as GPT, CLIP, and DINO--have achieved revolutionary progress in the past several years and are commonly believed to be a promising approach for general-purpose AI. In particular, self-supervised learning is adopted to pre-train a foundation model using a large amount of unlabeled data. A pre-trained foundation model is like an ``operating system'' of the AI ecosystem. Specifically, a foundation model can be used as a feature extractor for many downstream tasks with little or no labeled training data. Existing studies on foundation models mainly focused on pre-training a better foundation model to improve its performance on downstream tasks in non-adversarial settings, leaving its security and privacy in adversarial settings largely unexplored. A security or privacy issue of a pre-trained foundation model leads to a single point of failure for the AI ecosystem. In this book chapter, we discuss 10 basic security and privacy problems for the pre-trained foundation models, including six confidentiality problems, three integrity problems, and one availability problem. For each problem, we discuss potential opportunities and challenges. We hope our book chapter will inspire future research on the security and privacy of foundation models.
• Abstract（参考訳）: GPT、CLIP、DINOといったファンデーションモデルは、ここ数年で革命的な進歩を遂げており、汎用AIにとって有望なアプローチであると一般的に信じられている。 特に,大量のラベルなしデータを用いた基礎モデルの事前学習には,自己教師あり学習が採用されている。 事前トレーニングされた基盤モデルは、AIエコシステムの‘運用システム’のようなものです。 特に、基礎モデルは、ラベル付きトレーニングデータが少なく、あるいは全くない多くのダウンストリームタスクの機能抽出器として使用できる。 基礎モデルの既存の研究は、主に、非敵の設定で下流タスクのパフォーマンスを改善するためのより良い基礎モデルの事前訓練に焦点を当てており、敵の設定におけるセキュリティとプライバシは、ほとんど探索されていない。 事前訓練された基盤モデルのセキュリティやプライバシの問題は、AIエコシステムの単一障害点につながる。 本章では,6つの機密性問題,3つの整合性問題,1つの可用性問題を含む,事前学習された基盤モデルに対する10の基本的なセキュリティとプライバシの問題について論じる。 それぞれの問題に対して、潜在的な機会と課題について話し合う。 私たちの本章は、ファンデーションモデルのセキュリティとプライバシに関する将来の研究を刺激することを期待しています。

関連論文リスト

• New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook [54.24701201956833]
  セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-12T10:15:33Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• A Comprehensive Study on Model Initialization Techniques Ensuring Efficient Federated Learning [0.0]
  フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。 モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。 本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
  論文  参考訳（メタデータ） (2023-10-31T23:26:58Z)
• Can Foundation Models Help Us Achieve Perfect Secrecy? [11.073539163281524]
  機械学習の鍵となる約束は、ユーザーをパーソナルなタスクで支援する能力である。 金の標準プライバシー保護システムは、完全な機密性を満たすだろう。 しかし、プライバシーと品質は、個人業務のために既存のシステムでは緊張しているようだ。
  論文  参考訳（メタデータ） (2022-05-27T02:32:26Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• Privacy and Robustness in Federated Learning: Attacks and Defenses [74.62641494122988]
  このトピックに関する最初の包括的な調査を実施します。 FLの概念の簡潔な紹介と、1脅威モデル、2堅牢性に対する中毒攻撃と防御、3プライバシーに対する推論攻撃と防御、というユニークな分類学を通じて、私たちはこの重要なトピックのアクセス可能なレビューを提供します。
  論文  参考訳（メタデータ） (2020-12-07T12:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。