論文の概要: Differentially Private Neural Tangent Kernels for Privacy-Preserving Data Generation

• arxiv url: http://arxiv.org/abs/2303.01687v2
• Date: Tue, 27 Feb 2024 22:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:22:12.169318
• Title: Differentially Private Neural Tangent Kernels for Privacy-Preserving Data Generation
• Title（参考訳）: プライバシー保護データ生成のための微分プライベートニューラルネットワークカーネル
• Authors: Yilin Yang, Kamil Adamczewski, Danica J. Sutherland, Xiaoxiao Li, Mijung Park
• Abstract要約: 本研究は,$textitneural tangent kernels (NTKs)$,より正確には$textitempirical$ NTKs (e-NTKs) の機能の利用を検討する。 おそらく意外なことに、トレーニングされていないe-NTK機能の表現力は、公開データを使って事前トレーニングされた知覚機能から得られる機能と同等である。
• 参考スコア（独自算出の注目度）: 32.83436754714798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximum mean discrepancy (MMD) is a particularly useful distance metric for differentially private data generation: when used with finite-dimensional features it allows us to summarize and privatize the data distribution once, which we can repeatedly use during generator training without further privacy loss. An important question in this framework is, then, what features are useful to distinguish between real and synthetic data distributions, and whether those enable us to generate quality synthetic data. This work considers the using the features of $\textit{neural tangent kernels (NTKs)}$, more precisely $\textit{empirical}$ NTKs (e-NTKs). We find that, perhaps surprisingly, the expressiveness of the untrained e-NTK features is comparable to that of the features taken from pre-trained perceptual features using public data. As a result, our method improves the privacy-accuracy trade-off compared to other state-of-the-art methods, without relying on any public data, as demonstrated on several tabular and image benchmark datasets.
• Abstract（参考訳）: 差分的にプライベートなデータ生成において、最大平均差(mmd)は特に有用な距離メトリックである: 有限次元の機能で使用される場合、データの分散を一度に要約し、民営化することができる。 このフレームワークにおける重要な質問は、実際のデータ分布と合成データ分布を区別するのに有用な機能と、それが高品質な合成データを生成することができるかどうかである。 この研究は、$\textit{neural tangent kernels (NTKs)}$、より正確には$\textit{empirical}$ NTKs (e-NTKs) の機能の使用を検討する。 おそらく驚くべきことに、トレーニングされていないe-NTK機能の表現力は、公開データを使って事前トレーニングされた知覚機能から得られる機能と同等である。 その結果、いくつかの表や画像のベンチマークデータセットで示されるように、公開データに頼ることなく、他の最先端手法と比較してプライバシーと精度のトレードオフを改善することができる。

関連論文リスト

• Private prediction for large-scale synthetic text generation [28.488459921169905]
  大規模言語モデル(LLM)を用いた微分プライベートテキスト生成手法を提案する。 プライベートな予測フレームワークでは、差分プライバシー保証を満たすために出力された合成データのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-16T18:28:40Z)
• Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
  この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。 本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。 同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
  論文  参考訳（メタデータ） (2023-09-11T14:46:55Z)
• Differentially Private Synthetic Data Using KD-Trees [11.96971298978997]
  ノイズ摂動とともに空間分割技術を活用し,直観的かつ透過的なアルゴリズムを実現する。 我々は、$epsilon$-differentially private synthesis data generationのためのデータ独立アルゴリズムとデータ依存アルゴリズムの両方を提案する。 先行研究に対して実証的な実用性向上を示すとともに,実データセット上の下流分類タスクにおけるアルゴリズムの性能について考察する。
  論文  参考訳（メタデータ） (2023-06-19T17:08:32Z)
• Smooth Anonymity for Sparse Graphs [69.1048938123063]
  しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。 本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-07-13T17:09:25Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Anonymizing Sensor Data on the Edge: A Representation Learning and Transformation Approach [4.920145245773581]
  本稿では,データ難読化に有用な低次元表現を学習することで,ユーティリティとプライバシ損失のトレードオフを検討することを目的とする。 本稿では,時系列データを合成するための変分オートエンコーダの潜時空間における決定論的および確率的変換を提案する。 リソース制約のあるエッジデバイス上で,データをリアルタイムに匿名化できることを示す。
  論文  参考訳（メタデータ） (2020-11-16T22:32:30Z)
• Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data [93.76907759950608]
  本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。 本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T05:46:56Z)
• DP-MERF: Differentially Private Mean Embeddings with Random Features for Practical Privacy-Preserving Data Generation [11.312036995195594]
  カーネル平均埋め込みのランダムな特徴表現を用いた差分プライベートなデータ生成パラダイムを提案する。 ランダムな特徴表現を2つの重要な利点として活用する。 我々のアルゴリズムは、いくつかのデータセットでテストした場合に、既存の方法よりもはるかに優れたプライバシーとユーティリティのトレードオフを実現する。
  論文  参考訳（メタデータ） (2020-02-26T16:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。