論文の概要: Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining

• arxiv url: http://arxiv.org/abs/2212.06470v3
• Date: Wed, 17 Jul 2024 06:53:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 00:00:34.652021
• Title: Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining
• Title（参考訳）: 位置:大規模公開事前学習による個人差分学習の考察
• Authors: Florian Tramèr, Gautam Kamath, Nicholas Carlini,
• Abstract要約: 大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
• 参考スコア（独自算出の注目度）: 75.25943383604266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of differentially private machine learning can be boosted significantly by leveraging the transfer learning capabilities of non-private models pretrained on large public datasets. We critically review this approach. We primarily question whether the use of large Web-scraped datasets should be viewed as differential-privacy-preserving. We caution that publicizing these models pretrained on Web data as "private" could lead to harm and erode the public's trust in differential privacy as a meaningful definition of privacy. Beyond the privacy considerations of using public data, we further question the utility of this paradigm. We scrutinize whether existing machine learning benchmarks are appropriate for measuring the ability of pretrained models to generalize to sensitive domains, which may be poorly represented in public Web data. Finally, we notice that pretraining has been especially impactful for the largest available models -- models sufficiently large to prohibit end users running them on their own devices. Thus, deploying such models today could be a net loss for privacy, as it would require (private) data to be outsourced to a more compute-powerful third party. We conclude by discussing potential paths forward for the field of private learning, as public pretraining becomes more popular and powerful.
• Abstract（参考訳）: 大規模公開データセットで事前訓練された非プライベートモデルの転送学習能力を活用することで、差分プライベート機械学習の性能を大幅に向上させることができる。 このアプローチを批判的にレビューする。 主に、大規模なWebスクラッドデータセットの使用は、差分プライバシ保存と見なされるべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公開データの利用に関するプライバシー上の考慮を超えて、このパラダイムの有用性をさらに疑問視する。 我々は、既存の機械学習ベンチマークが、事前訓練されたモデルが機密ドメインに一般化する能力を測定するのに適切かどうかを精査する。 最後に、プレトレーニングは、最も大きな利用可能なモデルに対して特に影響があることに気付きました -- エンドユーザーが自身のデバイスでそれらを実行するのを阻止するのに十分な大きさのモデルです。 このように、今日のそのようなモデルをデプロイすることは、より計算力のあるサードパーティにアウトソースする(プライベートな)データを必要とするため、プライバシの純損失になる可能性がある。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。

関連論文リスト

• FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation [4.772368796656325]
  実際には、制御されたデータアクセスは、多くの産業や研究環境でデータプライバシを保護する主要な方法である。 我々は,FT-PrivacyScoreのプロトタイプを開発し,モデル微調整作業に参加する際のプライバシーリスクを効率よく定量的に推定できることを実証した。
  論文  参考訳（メタデータ） (2024-10-30T02:41:26Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)
• Unlocking Accuracy and Fairness in Differentially Private Image Classification [43.53494043189235]
  差別化プライバシ(DP)は、プライバシ保護トレーニングのための金の標準フレームワークと考えられている。 DPを微調整した事前学習基礎モデルでは,非私的分類器と同様の精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:42:33Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Why Is Public Pretraining Necessary for Private Model Training? [50.054565310457306]
  公開データに対する事前トレーニングは、非プライベートな設定よりも顕著な利益をもたらすことを示す。 トレードオフは、アルゴリズムが2つのフェーズを通過する必要のある、より深い損失モデルかもしれない、と私たちは主張する。 直観によって導かれた理論的な構成は、公的な事前訓練なしでの私的分離を確実に実証するものである。
  論文  参考訳（メタデータ） (2023-02-19T05:32:20Z)
• A Survey on Differential Privacy with Machine Learning and Future Outlook [0.0]
  差分プライバシーは、あらゆる攻撃や脆弱性から機械学習モデルを保護するために使用される。 本稿では,2つのカテゴリに分類される差分プライベート機械学習アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-11-19T14:20:53Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Security and Privacy Preserving Deep Learning [2.322461721824713]
  ディープラーニングに必要な膨大なデータ収集は、明らかにプライバシーの問題を提示している。 写真や音声録音などの、個人的かつ高感度なデータは、収集する企業によって無期限に保持される。 深層ニューラルネットワークは、トレーニングデータに関する情報を記憶するさまざまな推論攻撃の影響を受けやすい。
  論文  参考訳（メタデータ） (2020-06-23T01:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。