論文の概要: ViP: A Differentially Private Foundation Model for Computer Vision

• arxiv url: http://arxiv.org/abs/2306.08842v2
• Date: Wed, 28 Jun 2023 22:24:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 16:24:23.040228
• Title: ViP: A Differentially Private Foundation Model for Computer Vision
• Title（参考訳）: ViP:コンピュータビジョンのための微分プライベートファンデーションモデル
• Authors: Yaodong Yu and Maziar Sanjabi and Yi Ma and Kamalika Chaudhuri and Chuan Guo
• Abstract要約: 本稿では,差分プライバシ(DP)を保証した基礎視覚モデルを学習するためのレシピを提案する。 ViP は ImageNet 上で (プライベートではない) 線形プローブの精度を 55.7% で達成している。 この結果から,インターネット規模データへのスケーリングは,私的学習に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 40.104959284968096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence (AI) has seen a tremendous surge in capabilities thanks to the use of foundation models trained on internet-scale data. On the flip side, the uncurated nature of internet-scale data also poses significant privacy and legal risks, as they often contain personal information or copyrighted material that should not be trained on without permission. In this work, we propose as a mitigation measure a recipe to train foundation vision models with differential privacy (DP) guarantee. We identify masked autoencoders as a suitable learning algorithm that aligns well with DP-SGD, and train ViP -- a Vision transformer with differential Privacy -- under a strict privacy budget of $\epsilon=8$ on the LAION400M dataset. We evaluate the quality of representation learned by ViP using standard downstream vision tasks; in particular, ViP achieves a (non-private) linear probing accuracy of $55.7\%$ on ImageNet, comparable to that of end-to-end trained AlexNet (trained and evaluated on ImageNet). Our result suggests that scaling to internet-scale data can be practical for private learning. Code is available at \url{https://github.com/facebookresearch/ViP-MAE}.
• Abstract（参考訳）: 人工知能(AI)は、インターネット規模のデータに基づいてトレーニングされた基礎モデルを使用することで、能力の飛躍的な増加を見せている。 逆に、インターネット規模のデータの未処理の性質は、個人情報や著作権のある資料を許可なくトレーニングするべきではないため、重大なプライバシーや法的リスクも伴う。 本研究では,DP(差分プライバシ)を保証した基礎的ビジョンモデルを学習するためのレシピの緩和尺度として提案する。 マスク付きオートエンコーダは、DP-SGDとうまく一致した適切な学習アルゴリズムであり、LAION400Mデータセットの厳格なプライバシー予算として、差分プライバシを備えたビジョントランスフォーマーであるViPをトレーニングする。 我々は、標準の下流視覚タスクを用いて、VPが学習した表現の質を評価する。特に、VPは、ImageNet上で5,5.7 %の(プライベートでない)線形探索精度を達成している。 この結果から,インターネット規模データへのスケーリングは,私的学習に有効であることが示唆された。 コードは \url{https://github.com/facebookresearch/vip-mae} で入手できる。

関連論文リスト

• Calibrating Practical Privacy Risks for Differentially Private Machine Learning [5.363664265121231]
  モデルトレーニングにおいて、より柔軟なプライバシ予算設定を可能にするために、攻撃の成功率を下げるアプローチについて検討する。 プライバシに敏感な機能を選択的に抑制することで、アプリケーション固有のデータユーティリティを損なうことなく、低いASR値を達成できることがわかりました。
  論文  参考訳（メタデータ） (2024-10-30T03:52:01Z)
• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano [83.5933307263932]
  本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。 基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
  論文  参考訳（メタデータ） (2022-10-24T23:50:12Z)
• Privacy-Preserved Neural Graph Similarity Learning [99.78599103903777]
  本稿では,グラフ類似性学習のためのプライバシ保存型ニューラルグラフマッチングネットワークモデルPPGMを提案する。 再構成攻撃を防ぐため、提案モデルではデバイス間でノードレベルの表現を通信しない。 グラフプロパティに対する攻撃を軽減するため、両方のベクトルの情報を含む難読化機能は通信される。
  論文  参考訳（メタデータ） (2022-10-21T04:38:25Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
  DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-05T23:57:34Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Toward Training at ImageNet Scale with Differential Privacy [19.139956067438995]
  微分プライバシー(DP)は、機械学習(ML)モデルをトレーニングするデファクトスタンダードである。 ImageNet画像分類は、DPで正確に解決することが非常に難しいMLタスクのポスター例である。 本稿は、DPトレーニングを大規模に探求するよう、他の研究者に刺激を与え、知らせることを願って、当社の取り組みから最初の教訓を共有します。
  論文  参考訳（メタデータ） (2022-01-28T18:48:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。