論文の概要: Learning to Generate Image Embeddings with User-level Differential Privacy

• arxiv url: http://arxiv.org/abs/2211.10844v2
• Date: Fri, 31 Mar 2023 22:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 00:09:29.479594
• Title: Learning to Generate Image Embeddings with User-level Differential Privacy
• Title（参考訳）: ユーザレベルの差分プライバシーによる画像埋め込み生成の学習
• Authors: Zheng Xu, Maxwell Collins, Yuxiao Wang, Liviu Panait, Sewoong Oh, Sean Augenstein, Ting Liu, Florian Schroff, H. Brendan McMahan
• Abstract要約: DP-FedEmbは、ユーザ毎の感度制御とノイズ付加を備えたフェデレーション学習アルゴリズムの一種である。 数百万のユーザがトレーニングに参加可能な場合,ユーティリティの低下を5%以内でコントロールしながら,強力なユーザレベルのDP保証を$epsilon4$で実現できることを示す。
• 参考スコア（独自算出の注目度）: 31.797461992234457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small on-device models have been successfully trained with user-level differential privacy (DP) for next word prediction and image classification tasks in the past. However, existing methods can fail when directly applied to learn embedding models using supervised training data with a large class space. To achieve user-level DP for large image-to-embedding feature extractors, we propose DP-FedEmb, a variant of federated learning algorithms with per-user sensitivity control and noise addition, to train from user-partitioned data centralized in the datacenter. DP-FedEmb combines virtual clients, partial aggregation, private local fine-tuning, and public pretraining to achieve strong privacy utility trade-offs. We apply DP-FedEmb to train image embedding models for faces, landmarks and natural species, and demonstrate its superior utility under same privacy budget on benchmark datasets DigiFace, EMNIST, GLD and iNaturalist. We further illustrate it is possible to achieve strong user-level DP guarantees of $\epsilon<4$ while controlling the utility drop within 5%, when millions of users can participate in training.
• Abstract（参考訳）: デバイス上の小さなモデルは、ユーザレベルの差分プライバシ(DP)を用いて、次のワード予測と画像分類タスクを過去に成功させた。 しかし,既存の手法は,大規模なクラス空間を持つ教師付きトレーニングデータを用いて埋め込みモデルを直接適用した場合に失敗する可能性がある。 大規模画像埋め込み機能抽出装置のユーザレベルDPを実現するために,ユーザ毎の感度制御とノイズ付加機能を備えたフェデレート学習アルゴリズムの変種であるDP-FedEmbを提案し,データセンタに集中したユーザ分割データからトレーニングを行う。 dp-fedembは、仮想クライアント、部分集約、プライベートなローカル微調整、パブリック事前トレーニングを組み合わせて、強力なプライバシユーティリティトレードオフを実現する。 DP-FedEmbを顔、ランドマーク、自然種の画像埋め込みモデルのトレーニングに適用し、DigiFace、EMNIST、GLD、iNaturalistのベンチマークデータセット上で、同じプライバシー予算の下で優れた実用性を示す。 さらに,数百万のユーザがトレーニングに参加可能な場合に,ユーティリティのドロップを5%以内にコントロールしながら,$\epsilon<4$という強力なユーザレベルのDP保証を実現することが可能であることを述べる。

関連論文リスト

• Beyond the Mean: Differentially Private Prototypes for Private Transfer Learning [16.028575596905554]
  本稿では,個人間移動学習の新たなパラダイムとして,DPPL(differially Private Prototype Learning)を提案する。 DPPLは、埋め込み空間内の各プライベートクラスを表すプロトタイプを生成し、推論のために公開することができる。 エンコーダの事前トレーニング以上の公開データを活用すれば,プライバシユーティリティのトレードオフをさらに改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-12T09:41:12Z)
• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders [26.658723213776632]
  DP保証付き変分オートエンコーダ(VAE)のトレーニング機構であるDP$2$-VAEを提案する。 さまざまなプライバシ予算と評価指標の下で,ベースラインよりも優位性を示すために,画像データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-05T23:57:34Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。