論文の概要: Polynomial magic! Hermite polynomials for private data generation
- arxiv url: http://arxiv.org/abs/2106.05042v1
- Date: Wed, 9 Jun 2021 12:56:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:16:45.556150
- Title: Polynomial magic! Hermite polynomials for private data generation
- Title（参考訳）: 多項式魔法!
プライベートデータ生成のためのエルマイト多項式
- Authors: Mijung Park, Margarita Vinaroz, Mohammad-Amin Charusaie, Frederik
Harder
- Abstract要約: カーネルとは、無限次元の特徴を考慮したもので、差分プライベートなデータ生成の文脈で扱うのが困難である。
本稿では,有限次元のランダムな特徴を用いたカーネル平均データ分布の埋め込みを近似し,その特性の感度を解析的に抽出する手法を提案する。
ランダムな特徴とは異なり、Hermiteの特徴は順序づけられており、低順序は高順序のものよりも分布に関するより多くの情報を含んでいる。
- 参考スコア（独自算出の注目度）: 6.7386666699567845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel mean embedding is a useful tool to compare probability measures.
Despite its usefulness, kernel mean embedding considers infinite-dimensional
features, which are challenging to handle in the context of differentially
private data generation. A recent work proposes to approximate the kernel mean
embedding of data distribution using finite-dimensional random features, where
the sensitivity of the features becomes analytically tractable. More
importantly, this approach significantly reduces the privacy cost, compared to
other known privatization methods (e.g., DP-SGD), as the approximate kernel
mean embedding of the data distribution is privatized only once and can then be
repeatedly used during training of a generator without incurring any further
privacy cost. However, the required number of random features is excessively
high, often ten thousand to a hundred thousand, which worsens the sensitivity
of the approximate kernel mean embedding. To improve the sensitivity, we
propose to replace random features with Hermite polynomial features. Unlike the
random features, the Hermite polynomial features are ordered, where the
features at the low orders contain more information on the distribution than
those at the high orders. Hence, a relatively low order of Hermite polynomial
features can more accurately approximate the mean embedding of the data
distribution compared to a significantly higher number of random features. As a
result, using the Hermite polynomial features, we significantly improve the
privacy-accuracy trade-off, reflected in the high quality and diversity of the
generated data, when tested on several heterogeneous tabular datasets, as well
as several image benchmark datasets.
- Abstract（参考訳）: カーネル平均埋め込みは確率測度を比較するのに有用なツールである。
その有用性にもかかわらず、カーネル平均埋め込みは無限次元の特徴を考慮しており、微分的にプライベートなデータ生成の文脈では処理が困難である。
最近の研究は、有限次元のランダム特徴を用いたカーネル平均データ分布の埋め込みを近似し、特徴の感度を解析的に抽出できるようにする。
さらに重要なことに、このアプローチは、他の既知の民営化手法(DP-SGDなど)と比較して、プライバシコストを大幅に削減する。
しかし、要求されるランダムな特徴の数は過度に高く、しばしば1万から10万に増加し、近似カーネルの平均埋め込みの感度が悪化する。
感度を向上させるために,ランダムな特徴をHermite多項式の特徴に置き換えることを提案する。
ランダムな特徴とは異なり、Hermite多項式の特徴は順序づけられ、低次の特徴は高次の特徴よりも分布に関するより多くの情報を含んでいる。
したがって、比較的低い次数のエルミート多項式の特徴は、ランダムな特徴の数に比べてデータ分布の平均埋め込みをより正確に近似することができる。
その結果、Hermite多項式の特徴を用いて、複数の不均一な表型データセットと複数の画像ベンチマークデータセットでテストした場合、生成データの品質と多様性を反映したプライバシーと精度のトレードオフを大幅に改善した。
関連論文リスト
- Differentially Private Neural Tangent Kernels for Privacy-Preserving
Data Generation [32.83436754714798]
本研究は,$textitneural tangent kernels (NTKs)$,より正確には$textitempirical$ NTKs (e-NTKs) の機能の利用を検討する。
おそらく意外なことに、トレーニングされていないe-NTK機能の表現力は、公開データを使って事前トレーニングされた知覚機能から得られる機能と同等である。
論文 参考訳（メタデータ） (2023-03-03T03:00:49Z) - Differentially private multivariate medians [4.588028371034407]
差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。
Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
論文 参考訳（メタデータ） (2022-10-12T17:56:04Z) - Optimal Algorithms for Mean Estimation under Local Differential Privacy [55.32262879188817]
そこで本研究では,PrivUnitが局所的プライベートな乱数化器群間の最適分散を実現することを示す。
また,ガウス分布に基づくPrivUnitの新たな変種も開発しており,数学的解析に適しており,同じ最適性保証を享受できる。
論文 参考訳（メタデータ） (2022-05-05T06:43:46Z) - Private measures, random walks, and synthetic data [7.5764890276775665]
微分プライバシーは、情報理論のセキュリティ保証を提供する数学的概念である。
我々は、プライベートな合成データを効率的に構築できるデータセットからプライベートな尺度を開発する。
我々の構築における重要な要素は、独立確率変数と同様の連立分布を持つ新しい超規則ランダムウォークである。
論文 参考訳（メタデータ） (2022-04-20T00:06:52Z) - Improved Random Features for Dot Product Kernels [12.321353062415701]
我々はドット製品カーネルのランダムな特徴近似の効率を改善するために、いくつかの新しい貢献をしている。
複雑な特徴の利用はこれらの近似のばらつきを著しく減少させることができることを実証的に示す。
一般のドット製品カーネルのランダムな特徴近似を改善するために,データ駆動型最適化手法を開発した。
論文 参考訳（メタデータ） (2022-01-21T14:16:56Z) - Hybrid Random Features [60.116392415715275]
ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。
HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
論文 参考訳（メタデータ） (2021-10-08T20:22:59Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-06-18T08:33:45Z) - Federated Doubly Stochastic Kernel Learning for Vertically Partitioned
Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。
本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文 参考訳（メタデータ） (2020-08-14T05:46:56Z) - A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。
本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。
このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
論文 参考訳（メタデータ） (2020-06-16T17:47:48Z) - DP-MERF: Differentially Private Mean Embeddings with Random Features for
Practical Privacy-Preserving Data Generation [11.312036995195594]
カーネル平均埋め込みのランダムな特徴表現を用いた差分プライベートなデータ生成パラダイムを提案する。
ランダムな特徴表現を2つの重要な利点として活用する。
我々のアルゴリズムは、いくつかのデータセットでテストした場合に、既存の方法よりもはるかに優れたプライバシーとユーティリティのトレードオフを実現する。
論文 参考訳（メタデータ） (2020-02-26T16:41:41Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳（メタデータ） (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。