論文の概要: DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation

• arxiv url: http://arxiv.org/abs/2103.11109v1
• Date: Sat, 20 Mar 2021 06:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:16:02.259113
• Title: DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation
• Title（参考訳）: datalens: 勾配圧縮と集約によるスケーラブルなプライバシー保護トレーニング
• Authors: Boxin Wang, Fan Wu, Yunhui Long, Luka Rimanic, Ce Zhang, Bo Li
• Abstract要約: スケーラブルなプライバシー保護生成モデルDataLENSを提案します。 その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。 DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
• 参考スコア（独自算出の注目度）: 15.63770709526671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent success of deep neural networks (DNNs) hinges on the availability of large-scale dataset; however, training on such dataset often poses privacy risks for sensitive training information. In this paper, we aim to explore the power of generative models and gradient sparsity, and propose a scalable privacy-preserving generative model DATALENS. Comparing with the standard PATE privacy-preserving framework which allows teachers to vote on one-dimensional predictions, voting on the high dimensional gradient vectors is challenging in terms of privacy preservation. As dimension reduction techniques are required, we need to navigate a delicate tradeoff space between (1) the improvement of privacy preservation and (2) the slowdown of SGD convergence. To tackle this, we take advantage of communication efficient learning and propose a novel noise compression and aggregation approach TOPAGG by combining top-k compression for dimension reduction with a corresponding noise injection mechanism. We theoretically prove that the DATALENS framework guarantees differential privacy for its generated data, and provide analysis on its convergence. To demonstrate the practical usage of DATALENS, we conduct extensive experiments on diverse datasets including MNIST, Fashion-MNIST, and high dimensional CelebA, and we show that, DATALENS significantly outperforms other baseline DP generative models. In addition, we adapt the proposed TOPAGG approach, which is one of the key building blocks in DATALENS, to DP SGD training, and show that it is able to achieve higher utility than the state-of-the-art DP SGD approach in most cases.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)の最近の成功は、大規模データセットの可用性にかかっているが、そのようなデータセットのトレーニングは、センシティブなトレーニング情報に対してプライバシリスクをもたらすことが多い。 本稿では,生成モデルと勾配空間のパワーについて検討し,拡張性のあるプライバシ保存型生成モデルDateLENSを提案する。 教師が1次元の予測に投票できる標準のPATEプライバシー保護フレームワークと比較して、高次元勾配ベクトルの投票はプライバシー保護の観点から難しい。 次元削減技術が必要なため,(1)プライバシー保護の改善と(2)SGDの収束の鈍化との間には,微妙なトレードオフ空間をナビゲートする必要がある。 そこで我々は,通信効率のよい学習を生かし,次元縮小のためのトップk圧縮と対応するノイズ注入機構を組み合わせた新しいノイズ圧縮・集約手法TOPAGGを提案する。 理論的には、このフレームワークは生成されたデータの差分プライバシーを保証し、その収束度を解析する。 そこで,本研究では,MNIST,Fashion-MNIST,高次元CelebAなどの多種多様なデータセットを用いて,DateLENSの実用性を実証するため,他のベースラインDP生成モデルよりも優れていることを示す。 さらに,datalensの重要な構成要素の一つであるtopaggアプローチをdp sgdトレーニングに適用し,ほとんどの場合において最先端のdp sgdアプローチよりも高い有効性を実現可能であることを示す。

関連論文リスト

• Privacy-preserving datasets by capturing feature distributions with Conditional VAEs [0.11999555634662634]
  条件付き変分オートエンコーダ(CVAE)は、大きな事前学習された視覚基盤モデルから抽出された特徴ベクトルに基づいて訓練される。 本手法は, 医用領域と自然画像領域の両方において, 従来のアプローチよりも優れている。 結果は、データスカースおよびプライバシに敏感な環境におけるディープラーニングアプリケーションに大きな影響を与える生成モデルの可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-01T15:26:24Z)
• Enhancing the Utility of Privacy-Preserving Cancer Classification using Synthetic Data [5.448470199971472]
  深層学習は、乳がん検出において放射線科医を補助する大きな可能性を秘めている。 最適なモデルパフォーマンスを達成することは、データの可用性と共有の制限によって妨げられます。 従来のディープラーニングモデルでは、センシティブなトレーニング情報を不注意にリークすることができる。 この研究は、プライバシー保護のディープラーニング技術の有用性の定量化を探求するこれらの課題に対処する。
  論文  参考訳（メタデータ） (2024-07-17T15:52:45Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy [4.586288671392977]
  PATE-TripleGANというプライバシ保護トレーニングフレームワークを提案する。 ラベル付きデータへの依存を減らすために、ラベル付きデータの事前分類を行う分類器が組み込まれている。 PATE-TripleGANは、トレーニングデータのプライバシを確保しながら、高品質なラベル付きイメージデータセットを生成することができる。
  論文  参考訳（メタデータ） (2024-04-19T09:22:20Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• DPGOMI: Differentially Private Data Publishing with Gaussian Optimized Model Inversion [8.204115285718437]
  本稿では,ガウス最適化モデルインバージョン(DPGOMI)を用いた微分プライベートデータパブリッシングを提案し,この問題に対処する。 提案手法では, パブリックジェネレータを用いてプライベートデータを潜時空間にマッピングし, コンバージェンス特性が向上した低次元DP-GANを用いる。 以上の結果から,DPGOMIは,インセプションスコア,Freche't Inception Distance,分類性能において,標準DP-GAN法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-06T18:46:22Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators [74.16405337436213]
  我々は、GS-WGAN(Gradient-sanitized Wasserstein Generative Adrial Networks)を提案する。 GS-WGANは、厳格なプライバシー保証を備えた機密データの衛生的な形式での公開を可能にする。 このアプローチは、複数のメトリクスにわたる最先端のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2020-06-15T10:01:01Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。