論文の概要: Differentially Private Representation Learning via Image Captioning

• arxiv url: http://arxiv.org/abs/2403.02506v1
• Date: Mon, 4 Mar 2024 21:52:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 16:47:26.406549
• Title: Differentially Private Representation Learning via Image Captioning
• Title（参考訳）: 画像キャプションによる個人差分表現学習
• Authors: Tom Sander, Yaodong Yu, Maziar Sanjabi, Alain Durmus, Yi Ma, Kamalika Chaudhuri, Chuan Guo
• Abstract要約: 画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 我々の研究は、高ユーティリティDP表現学習はゼロからトレーニングすることで達成できないという一般的な感情に挑戦する。
• 参考スコア（独自算出の注目度）: 53.67133628775955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (DP) machine learning is considered the gold-standard solution for training a model from sensitive data while still preserving privacy. However, a major barrier to achieving this ideal is its sub-optimal privacy-accuracy trade-off, which is particularly visible in DP representation learning. Specifically, it has been shown that under modest privacy budgets, most models learn representations that are not significantly better than hand-crafted features. In this work, we show that effective DP representation learning can be done via image captioning and scaling up to internet-scale multimodal datasets. Through a series of engineering tricks, we successfully train a DP image captioner (DP-Cap) on a 233M subset of LAION-2B from scratch using a reasonable amount of computation, and obtaining unprecedented high-quality image features that can be used in a variety of downstream vision and vision-language tasks. For example, under a privacy budget of $\varepsilon=8$, a linear classifier trained on top of learned DP-Cap features attains 65.8% accuracy on ImageNet-1K, considerably improving the previous SOTA of 56.5%. Our work challenges the prevailing sentiment that high-utility DP representation learning cannot be achieved by training from scratch.
• Abstract（参考訳）: differentially private (dp) machine learningは、プライバシを維持しながら機密データからモデルをトレーニングするためのゴールドスタンダードなソリューションだと考えられている。 しかし、この理想を達成するための大きな障壁は、DP表現学習において特に目に見える準最適プライバシー・正確性トレードオフである。 特に、控えめなプライバシー予算の下では、ほとんどのモデルは手作りの機能よりもはるかに優れた表現を学ぶ。 本稿では,画像キャプションによる効果的なdp表現学習と,インターネット規模のマルチモーダルデータセットへのスケールアップについて述べる。 一連の工学的トリックにより,LAION-2Bの233MサブセットにDP画像キャプタ(DP-Cap)をスクラッチから適切な量の計算量で訓練し,様々な下流視覚や視覚言語タスクで使用可能な,前例のない高品質な画像特徴を得ることに成功した。 例えば、$\varepsilon=8$のプライバシー予算の下で、学習済みDP-Cap機能の上に訓練された線形分類器は、ImageNet-1Kで65.8%の精度を獲得し、以前のSOTAの56.5%を大幅に改善した。 我々の研究は、高ユーティリティDP表現学習はゼロからトレーニングすることで達成できないという一般的な感情に挑戦する。

関連論文リスト

• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• ViP: A Differentially Private Foundation Model for Computer Vision [40.104959284968096]
  本稿では,差分プライバシ(DP)を保証した基礎視覚モデルを学習するためのレシピを提案する。 ViP は ImageNet 上で (プライベートではない) 線形プローブの精度を 55.7% で達成している。 この結果から,インターネット規模データへのスケーリングは,私的学習に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-15T04:06:24Z)
• Differentially Private Image Classification by Learning Priors from Random Processes [48.0766422536737]
  プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。 近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。 本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
  論文  参考訳（メタデータ） (2023-06-08T04:14:32Z)
• Learning to Generate Image Embeddings with User-level Differential Privacy [31.797461992234457]
  DP-FedEmbは、ユーザ毎の感度制御とノイズ付加を備えたフェデレーション学習アルゴリズムの一種である。 数百万のユーザがトレーニングに参加可能な場合,ユーティリティの低下を5%以内でコントロールしながら,強力なユーザレベルのDP保証を$epsilon4$で実現できることを示す。
  論文  参考訳（メタデータ） (2022-11-20T01:59:37Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Toward Training at ImageNet Scale with Differential Privacy [19.139956067438995]
  微分プライバシー(DP)は、機械学習(ML)モデルをトレーニングするデファクトスタンダードである。 ImageNet画像分類は、DPで正確に解決することが非常に難しいMLタスクのポスター例である。 本稿は、DPトレーニングを大規模に探求するよう、他の研究者に刺激を与え、知らせることを願って、当社の取り組みから最初の教訓を共有します。
  論文  参考訳（メタデータ） (2022-01-28T18:48:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。