論文の概要、ライセンス

# (参考訳) PEARL: 私的埋め込みによるデータ合成と敵対的再構築学習 [全文訳有]

PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning ( http://arxiv.org/abs/2106.04590v1 )

ライセンス: CC BY 4.0
Seng Pei Liew, Tsubasa Takahashi, Michihiko Ueno(参考訳) 本稿では,深層生成モデルを用いたデータ合成の新しい枠組みを提案する。 フレームワーク内では、センシティブなデータを厳密なプライバシ保証で一括してサニタイズすることで、元のデータを再利用することなく、深層生成モデルのトレーニングが可能になる。 したがって、訓練の繰り返しが増加するにつれてプライバシーの保証が低下する、差分的プライベート確率勾配(DP-SGD)のような一般的なアプローチとは対照的に、追加のプライバシコストやモデル制約は発生しない。 我々は, 特徴関数と敵対的再重み付け目的を用いて, 独立した関心を持つフレームワークの実現を実証する。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。

We propose a new framework of synthesizing data using deep generative models in a differentially private manner. Within our framework, sensitive data are sanitized with rigorous privacy guarantees in a one-shot fashion, such that training deep generative models is possible without re-using the original data. Hence, no extra privacy costs or model constraints are incurred, in contrast to popular approaches such as Differentially Private Stochastic Gradient Descent (DP-SGD), which, among other issues, causes degradation in privacy guarantees as the training iteration increases. We demonstrate a realization of our framework by making use of the characteristic function and an adversarial re-weighting objective, which are of independent interest as well. Our proposal has theoretical guarantees of performance, and empirical evaluations on multiple datasets show that our approach outperforms other methods at reasonable levels of privacy.
公開日: Tue, 8 Jun 2021 18:00:01 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
PEARL: Data Synthesis via Private Embeddings and pearl: プライベート埋め込みによるデータ合成と 0.71
Adversarial Reconstruction Learning Seng Pei Liew, Tsubasa Takahashi, Michihiko Ueno 対人再建学習 Seng Pei Liew, Tsubasa Takahashi, Ueno Michihiko 0.70
LINE Corporation ラインコーポレーション 0.56
{sengpei.liew,tsubasa .takahashi,michihiko .ueno}@linecorp.com {sengpei.liew,tsubasa .takahashi,michihiko .ueno}@linecorp.com 0.65
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] G L . 8 ] G L。 0.81
s c [ 1 v 0 9 5 4 0 sc [ 1 v 0 9 5 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract We propose a new framework of synthesizing data using deep generative models in a differentially private manner. 概要 本稿では,深層生成モデルを用いたデータ合成の新しい枠組みを提案する。
訳抜け防止モード: 概要 我々は新しい枠組みを提案する 差分プライベートな方法で深層生成モデルを用いたデータ合成。
0.64
Within our framework, sensitive data are sanitized with rigorous privacy guarantees in a one-shot fashion, such that training deep generative models is possible without re-using the original data. フレームワーク内では、センシティブなデータを厳密なプライバシ保証で一括してサニタイズすることで、元のデータを再利用することなく、深層生成モデルのトレーニングが可能になる。 0.57
Hence, no extra privacy costs or model constraints are incurred, in contrast to popular approaches such as Differentially Private Stochastic Gradient Descent (DP-SGD), which, among other issues, causes degradation in privacy guarantees as the training iteration increases. したがって、訓練の繰り返しが増加するにつれてプライバシーの保証が低下する、差分的プライベート確率勾配(DP-SGD)のような一般的なアプローチとは対照的に、追加のプライバシコストやモデル制約は発生しない。 0.74
We demonstrate a realization of our framework by making use of the characteristic function and an adversarial re-weighting objective, which are of independent interest as well. 我々は, 特徴関数と敵対的再重み付け目的を用いて, 独立した関心を持つフレームワークの実現を実証する。 0.67
Our proposal has theoretical guarantees of performance, and empirical evaluations on multiple datasets show that our approach outperforms other methods at reasonable levels of privacy. 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。 0.56
1 Introduction Synthesizing data under differential privacy (DP) [11–13] enables us to share the synthetic data and generative model with rigorous privacy guarantees. 1 はじめに 差分プライバシー(DP) [11-13] の下でデータを合成することで、厳密なプライバシー保証と合成データと生成モデルを共有することができる。
訳抜け防止モード: 1 はじめに 差分プライバシー(DP)によるデータの合成 [11–13 ] 合成データと生成モデルを 厳格なプライバシー保証と共有できます
0.73
Particularly, DP approaches of data synthesis involving the use of deep generative models have received attention lately [40, 47, 42, 15, 49, 7, 18]. 特に, 深部生成モデルを用いたデータ合成のDP手法が注目されている [40, 47, 42, 15, 49, 7, 18]。 0.72
Typically, the training of such models utilizes a technique called Differentially Private Stochastic Gradient Descent (DP-SGD) to preserve privacy [1]. 典型的には、そのようなモデルの訓練は微分プライベート確率勾配降下 (dp-sgd) と呼ばれる技法を使ってプライバシーを保護している([1])。
訳抜け防止モード: 通常、そのようなモデルの訓練は、いわゆるテクニックを用いる。 DP-SGD(differially Private Stochastic Gradient Descent) プライバシーを守るためです
0.69
Roughly speaking, DP-SGD proceeds as follows: (1) sample a random batch of data, (2) calculate and clip the gradients, (3) sanitize the gradients by adding noise. 大まかに言うと、dp-sgdは、(1)ランダムなデータのバッチをサンプリングし、(2)勾配を計算し、クリップし、(3)ノイズを加えることで勾配を浄化する。 0.65
While DP-SGD is a powerful technique enabling deep learning with DP, due to composability, each access to data leads to degradation in privacy guarantees, and as a result, the training iteration is limited by the privacy budget. DP-SGDは、DPによるディープラーニングを可能にする強力な技術であるが、構成性のため、データへのアクセスごとにプライバシー保証が低下し、結果として、トレーニングイテレーションはプライバシー予算によって制限される。 0.63
Most DP-SGD based works are only able to produce usable image data at a rather low level of privacy, i.e.,  (cid:39) 10 [47, 42, 7]. ほとんどのdp-sgdベースの作品は、比較的低いレベルのプライバシー、すなわち、 (cid:39) 10 [47, 42, 7] でのみ使用可能な画像データを生成することができる。
訳抜け防止モード: ほとんどのDP-SGDベースの作品は、かなり低いプライバシーレベルで使用可能な画像データしか生成できない。 は (cid:39 ) 10 [ 47, 42, 7 ] .
0.81
Furthermore, DP-SGD often requires extensive hyperparameter search for the optimal clipping size, which is not trivial as small clipping can destroy gradient information, while relaxed clipping can be too noisy for training. さらに、DP-SGDは、小さなクリッピングが勾配情報を破壊できるのに対して、緩やかなクリッピングは訓練に難しすぎるため、最適なクリッピングサイズを広範囲に探索する必要があることが多い。 0.62
In this work, we seek a strategy of training deep generative models privately alternative to DP-SGD that is free of the aforementioned shortcomings, and is practical in terms of privacy (e g , usable image data at  (cid:39) 1.) 本研究は,前述の欠点のないdp-sgdに代えて,プライベートに深層生成モデルの訓練を行う戦略であり,プライバシの観点からは実用的である(例えば,cid:39)1。
訳抜け防止モード: 本研究では,上記の欠点から解放されたdp-sgdに代わる深層生成モデルをプライベートにトレーニングする戦略を求める。 プライバシの観点からは実用的(例えば、cid:39 ) 1 で使用可能な画像データ)。
0.74
We propose a general framework called PEARL (Private Embeddings and Adversarial Reconstruction Learning). PEARL (Private Embeddings and Adversarial Reconstruction Learning) と呼ばれる一般的なフレームワークを提案する。 0.75
In this framework, the sensitive training data are (1) projected to an informative embedding in a DP manner. 本枠組みでは、(1)情報埋め込みにDP方式で投射されるセンシティブなトレーニングデータについて述べる。 0.72
(2) The sensitive data may be accessed again for obtaining (private) auxiliary information (e g , class distribution/proport ion for training with imbalanced data) useful for training, but the training of the generative model is restricted to this limited number of accesses to establish strong privacy guarantees. 2) トレーニングに有用な補助情報(例えば、不均衡データを用いたトレーニングのためのクラス分布/プロポーション)を取得するために、機密データを再びアクセスすることができるが、生成モデルのトレーニングは、強力なプライバシー保証を確立するために、この限られた数のアクセスに制限される。 0.70
(3) Then, the generative model is trained implicitly like GANs via the private embedding and auxiliary information, where the learning is based on a stochastic procedure (3) 学習は確率的手順に基づいて,個人埋め込みや補助情報を通じてGANのように暗黙的に学習する。
訳抜け防止モード: (3)私的な埋め込みと補助情報を通じて、生成モデルをGANのように暗黙的に訓練する。 学習は確率的な手順に基づいています
0.79
Preprint. Under review. プレプリント。 レビュー中。 0.63
英語(論文から抽出)日本語訳スコア
Figure 1: Overview of PEARL: (1) private embedding is obtained from the sensitive data, (2) auxiliary information is extracted privately, (3) a generator is trained with the private embedding and auxiliary information, (4) a critic is optimized to distinguish between the real and generated data. 図1:真珠の概要:(1)機密データからプライベート埋め込みを取得し、(2)補助情報をプライベートに抽出し、(3)プライベート埋め込みと補助情報でジェネレータを訓練し、(4)批判者が実際のデータと生成されたデータを区別するように最適化する。 0.73
that generates data, and (4) a critic distinguishing between the real and generated data. データは生成され、(4)実際のデータと生成されたデータとを区別する批評家。 0.71
Note that unlike DP-SGD, there is no constraint on the number of training iteration or extensive tuning of clipping size in this framework. DP-SGDとは異なり、このフレームワークではトレーニングイテレーションの数やクリッピングサイズの広範囲なチューニングに制約はない。 0.68
The overview of PEARL is illustrated in Fig 1. PEARLの概要を図1に示す。 0.62
As a concrete realization of PEARL, We first identify that the characteristic function (CF) representation of data can be sanitized as the private embedding of PEARL. PEARLの具体的実現として、データの特性関数(CF)表現がPEARLのプライベート埋め込みとして衛生化可能であることを最初に確認する。 0.81
Consequently, it is possible to train deep generative models using an appropriately defined metric measuring the discrepancy between the real (but sanitized) and generated data distribution based on the CF without re-using the original data. これにより、原データを再使用することなく、実(ただし衛生)と生成したcfに基づくデータ分布との一致度を測定する適切に定義されたメトリックを用いて、深層生成モデルを訓練することができる。 0.73
As will be explained in detail in later Sections, the generative modelling approach using CFs also involves sampling “frequencies” from an ad hoc distribution, to project the data to the embedding. 後述のセクションで詳しく説明されるように、CFを用いた生成モデリングアプローチでは、データを埋め込みに投影するために、アドホック分布から“周波数”をサンプリングする。 0.68
It is desirable to optimize the sampling distribution to better represent the data as an embedding, but the naive way of optimizing it would require re-accessing the data via sampling, coming at a cost of privacy budget. データを埋め込みとして表現するためにサンプリング分布を最適化することが望ましいが、データの最適化には、プライバシ予算のコストがかかるため、サンプリングによるデータ再アクセスが必要となる。 0.83
Henceforth, we also propose to incorporate a privacy-preserving critic to optimize the sampling strategy, which, through re-weighting, chooses the best representation from a fixed samples of frequencies without extra privacy costs. そのため、我々はプライバシー保護評論家を取り入れてサンプリング戦略を最適化し、再重み付けにより、追加のプライバシーコストを伴わずに、固定された周波数のサンプルから最良の表現を選択することを提案する。 0.57
To this end, we propose the following minimax optimization training objective: この目的のために、以下のミニマックス最適化訓練目標を提案する。 0.65
k(cid:88) i=1 k(cid:88) i=1 0.71
(cid:12)(cid:12)(cid :101)ΦPr (ti) −(cid:98)ΦQθ (ti)(cid:12)(cid:12) 2 (cid:12)(cid:12)(cid :101)>Pr(ti) −(cid:98)>Qθ(ti)(cid:12)(cid:12) 2 0.74
inf θ∈Θ inf θθθ である。 0.45
sup ω∈Ω sup ω∞ω である。 0.32
ω(ti) ω0(ti) ω(ti) ω0(ti) 0.94
. (1) See later parts for notations and details. . (1) 表記や詳細は後述する。 0.73
Theoretically, we show that our proposed objective has properties similar to those that are suited to training GANs, i.e., continuity and differentiability of the generator’s parameters, and continuity in weak topology. 理論的には,提案手法はganの訓練に適した性質,すなわち,生成器のパラメータの連続性と微分可能性,弱いトポロジーにおける連続性を有することを示す。 0.71
We also prove the consistency of our privacy-preserving sampling strategy at the asymptotic limit of infinite sampling. また、無限サンプリングの漸近限界におけるプライバシー保護サンプリング戦略の整合性も証明した。 0.69
Empirical evaluations show that PEARL is able to high-quality synthetic data at reasonable privacy levels. 実証的な評価は、PEARLが適切なプライバシーレベルで高品質な合成データを作成可能であることを示している。
訳抜け防止モード: 経験的評価は PEARLは、適切なプライバシーレベルで高品質な合成データを作成できる。
0.62
Related work. Recently, [18] has proposed DP-MERF, which first represents the sensitive data as random features in a DP manner and then learns a generator by minimizing the discrepancy between the (fixed) representation and generated data points. 関連作品。 近年, [18] は dp-merf を提案し, 感度の高いデータを dp 方式でランダムな特徴として表現し, (固定) 表現と生成データ点との差を最小化することで生成元を学習する。 0.70
DP-MERF can iterate the learning process of the generator without further consuming the privacy budget; however, it is limited in the learning and generalization capabilities due to its fixed representation. DP-MERFは、プライバシ予算をさらに消費することなく、ジェネレータの学習プロセスを反復することができるが、その固定表現により学習と一般化能力に制限がある。
訳抜け防止モード: DP - MERFは、さらなるプライバシー予算を消費することなくジェネレータの学習プロセスを繰り返すことができる しかし,その固定表現のため,学習能力や一般化能力に制限がある。
0.70
Compared with our proposal, PEARL, DP-MERF may be viewed as a special case of ours, as PEARL improves the generator’s learning capability by incorporating characteristic function that makes adversarial training possible. 提案手法と比較すると,DP-MERFはPEARLの学習能力を向上し,敵対的訓練を可能にする特徴関数を組み込むことにより,本研究の特別な事例と見なすことができる。 0.79
Supplementary Sec. A provides a more detailed exposure to recent related works. 補足的sec Aは最近の関連する作品のより詳細な露出を提供する。 0.48
Contributions. Our contribution in this paper is three-fold: (i) We propose a general framework called PEARL, where, unlike DP-SGD, the generator training process and iteration is unconstrained, and ad-hoc hyperparameter tuning is not required. 貢献。 本稿では, dp-sgdとは異なり, 生成過程と反復は制約されず, アドホックハイパーパラメータチューニングは必要とされない, 汎用フレームワークであるpearlを提案する。
訳抜け防止モード: 貢献。 本論文における我々の貢献は, 3-fold : ( i ) 一般フレームワークの提案である。 PEARL DP - SGD とは異なり、 発電機の訓練プロセスとイテレーションは 制約なしです ad -hocハイパーパラメータチューニングは不要である。
0.67
(ii) We demonstrate a realization of our framework by making use of the characteristic function and an adversarial re-weighting objective. (II) 特徴関数と対向的再重み付けの目的を利用して, フレームワークの実現を実証する。 0.61
(iii) Our proposal has theoretical guarantees of performance, and empirical evaluations show that our approach outperforms competitors at reasonable levels of privacy ( (cid:39) 1). (3)提案には性能の理論的保証があり,提案手法が適切なプライバシレベルで競争相手に勝ることを示す実証的評価(「シッド:39」1)。 0.76
2 1Sensitive DataPrivately Embedded 1Privately Embedded 2Privately Embedded kAuxSynthesized 1Synthesized 2Synthesized kCriticAdv. 2 1Sensitive DataPrivately Embedded 1Privately Embedded 2Privately Embedded kAuxSynthesized 1Synthesized 2Synthesized kCriticAdv。 0.82
Recon.LearnerGenerat or(1)(2)(3)(4)DP Flow(one-shot)Traini ngFlow…… Recon.LearnerGenerat or(1)(3)(4)DP Flow(ワンショット)TrainingFlow... 0.93
英語(論文から抽出)日本語訳スコア
Organization. The rest of the paper is organized as follows. 組織。 残りの論文は以下の通り整理される。 0.65
We first provide preliminaries and background of the current work. 私たちはまず、現在の作業の予備と背景を提供します。 0.61
Then, in Sec. 3, we describe the realization of PEARL and the generative modelling process. 次に、Sec。 3) PEARLの実現と生成的モデリングプロセスについて述べる。 0.62
In Sec. 4, we continue the discussion of PEARL, focusing on the adversarial learning process. Sec。 4) PEARLの議論を継続し, 対人学習に焦点をあてた。 0.61
Theoretical guarantees of our proposal are also given. 提案の理論的保証も与えられている。 0.71
Experimental results are shown next in Sec. 実験結果は次のsecで示されます。 0.65
5. Finally, we conclude. 5. 最後に結論を出す。 0.77
Ethics and social impacts. This research advances the study of sharing data in a private manner using deep generative models. 倫理と社会的影響。 この研究は、深層生成モデルを用いて、プライベートな方法でデータを共有する研究を進める。
訳抜け防止モード: 倫理と社会的影響。 この研究は研究を進める 深い生成モデルを使ってデータをプライベートに共有します
0.78
Differential privacy, recognized as a gold-standard concept for guaranteeing privacy, which is already being adopted in practice by the US Census Bureau for releasing census, is the core concept used in this research. 差分プライバシーは、アメリカ国勢調査局(US Census Bureau)が国勢調査を公表するためにすでに採用している、プライバシーを保証するための金の標準概念として認識されている。 0.61
Hence, it is potentially useful and applicable to other academic and industrial machine learning domains where sharing sensitive data without revealing personal information is important, thus bringing benefits to the machine learning community, as well as the society in general. したがって、個人情報を明かすことなくセンシティブなデータを共有することが重要であり、機械学習コミュニティや一般社会に利益をもたらすような、他の学術および産業の機械学習分野にも、潜在的に有用かつ適用可能である。 0.76
That being said, differential privacy is still a relatively new technology, and must be handled with care, especially when setting the privacy budget, i.e., not adding enough noise to data might increase the risk of privacy violation. とはいえ、差分プライバシーはいまだ比較的新しい技術であり、特にプライバシー予算を設定する場合、特にデータに十分なノイズを加えることがプライバシー侵害のリスクを増大させる可能性がある。 0.70
2 Preliminaries This Section gives a brief review of essential preliminaries about differential privacy, characteristic function and the related notations. 予科2 本節では、微分プライバシー、特性関数および関連する表記に関する本質的前提項を概観する。 0.59
2.1 Differential Privacy Definition 1 ((, δ)-Differential Privacy). 2.1 差分プライバシー定義1((a, δ)-差分プライバシー) 0.75
Given privacy parameters  ≥ 0 and δ ≥ 0, a randomized mechanism, M : D → R with domain D and range R satisfies (, δ)-differential privacy (DP) if for any two adjacent inputs d, d(cid:48) ∈ D and for any subset of outputs S ⊆ R, the following holds: プライバシーパラメータ > 0 と δ ≥ 0 が与えられたとき、ランダム化機構 M : D → R とドメイン D と範囲 R は、隣接する任意の2つの入力 d, d(cid:48) ∈ D と出力 S > R の任意の部分集合に対して、以下の条件を満たす。 0.79
Pr[M(d) ∈ S] ≤ e · Pr[M(d(cid:48)) ∈ S] + δ. Pr[M(d) ∈ S] ≤ e = · Pr[M(d(cid:48)) ∈ S] + δ。 0.89
(2) We next consider concrete ways of sanitizing certain outputs with DP. (2) 次に、ある出力をDPで消毒する方法を検討する。 0.67
A typical paradigm of DP is applying the randomized mechanism, M, to a certain deterministic function f : D → R such that the output of f is DP. DPの典型的なパラダイムは、ある決定論的関数 f : D → R に対して、f の出力が DP となるようなランダム化機構 M を適用することである。 0.80
The noise magnitude added by M is determined by the sensitivity of f, defined as ∆f = supd,d(cid:48)∈D (cid:107)f (d) − f (d(cid:48))(cid:107) , where || · || is a norm function defined on f’s output domain. M が付加する雑音の大きさは f の感度によって決定されるが、f = supd,d(cid:48)⋅D (cid:107)f (d) − f (d(cid:48))(cid:107) ここで || · || は f の出力領域上で定義されるノルム関数である。 0.82
d and d(cid:48) are any adjacent pairs of dataset. d と d(cid:48) は任意の隣接データセットである。 0.79
Laplacian and Gaussian mechanisms are the standard randomized mechanisms. ラプラシアンとガウスの機構は標準ランダム化機構である。 0.63
We primarily utilize the Gaussian mechanism in this paper [13]: Definition 2 (Gaussian Mechanism). 本論文ではガウスのメカニズムを主に用いている [13]: Definition 2 (ガウスのメカニズム)。 0.71
Let f : X → R be an arbitrary function with sensitivity ∆f . f : X → R {\displaystyle f:X → R} を感度 sf の任意の函数とする。 0.59
The Gaussian Mechanism, Mσ, parameterized by σ, adds noise to the output of f as follows: ガウス機構 mσ は σ によってパラメータ化され、以下の f の出力にノイズを付加する。 0.81
(3) One of the most important properties of DP relevant to our work is the post-processing theorem [13]. (3) DPの最も重要な性質の1つは後処理定理[13]である。 0.64
It ensures that the DP-sanitized data can be re-used without further consuming privacy budgets. プライバシーの予算を余分に必要とせずに、DP対応データを再利用できるようにする。 0.52
Theorem 1 (Post-processing Theorem). Theorem 1 (Post-processing Theorem)。 0.86
Let M : D → R be (, δ)-DP and let f : R → R(cid:48) be an arbitrary randomized function. M : D → R {\displaystyle M\,D\,R}-DP} とし、 f : R → R (cid:48) を任意のランダム化函数とする。 0.81
Then, f ◦ M : D → R(cid:48) is (, δ)-DP. このとき、f > M : D → R(cid:48) は ( , δ)-DP である。 0.84
Mσ(x) = f (x) + N (0, σ2I). Mσ(x) = f (x) + N (0, σ2I)。 0.97
2.2 Characteristic Functions Characteristic function (CF) is widely utilized in statistics and probability theory, and perhaps is best known to be used to prove the central limit theorem [44]. 2.2 特徴関数 特徴関数 (CF) は統計学や確率論において広く利用されており、おそらく中心極限定理 [44] を証明するために用いられる。 0.89
The definition is as follows. 定義は以下の通りである。 0.78
Definition 3 (Characteristic Function). 定義3(特徴関数)。 0.70
Given a random variable X ⊆ Rd and P as the probability measure associated with it, and t ∈ Rd, the corresponding characteristic function (CF) is given by (4) 確率測度として確率変数 X > Rd と P が与えられ、t ∈ Rd が与えられると、対応する特性関数 (CF) は (4) によって与えられる。 0.89
ΦP(t) = Ex∼P[eit·x] = シュP(t) = Ex\P[eit·x] = 0.70
eit·xdP. (cid:90) eit·xdP。 (cid:90) 0.72
Rd From the signal processing point of view, this mathematical operation is equivalent to the Fourier (cid:80)n transformation, and ΦP(t) is the Fourier transform at frequency t. It is noted that we deal with the discrete approximation of CFs in practice. Rd 信号処理の観点からは、この数学的操作はフーリエ変換(cid:80)n変換と等価であり、 sP(t) は周波数 t におけるフーリエ変換である。
訳抜け防止モード: Rd 信号処理の観点からは、この数学的操作はフーリエ変換(cid:80)n変換と等価であり、 sP(t ) は周波数 t におけるフーリエ変換である。 我々は実際にCFの離散近似に対処する。
0.81
That is, given a dataset with n i.i.d. すなわち、n i.i.d のデータセットが与えられる。 0.66
samples, {xi}n i=1 from i=1 eit·xi. i=1 eit·xi からのサンプル {xi}n i=1。 0.72
We next introduce characteristic function 次に特徴関数を導入する 0.76
P, the empirical CF is written as(cid:98)ΦP(t) = 1 P, 経験 CF は (cid:98) = P(t) = 1 と書く。 0.76
n distance (CFD) [20, 9]: n 距離(CFD) [20, 9] 0.76
3 3 0.85
英語(論文から抽出)日本語訳スコア
Definition 4 (Characteristic Function Distance). 定義 4 (Characteristic Function Distance)。 0.76
Given two distributions P and Q of random variables residing in Rd, and ω a sampling distribution on t ∈ Rd, the squared characteristic function distance (CFD) between P and Q is computed as: Rd に属する確率変数の2つの分布 P と Q と ω に t ∈ Rd 上のサンプリング分布が与えられると、P と Q の間の平方特性関数距離 (CFD) は次のように計算される。 0.86
ω(t)dt. ω(t)dt である。 0.82
(5) C2(P, Q) = Et∼ω(t)[(cid:12)(cid:12)ΦP(t) − ΦQ(t)(cid:12)(cid:12) 2 (5) C2(P, Q) = Et\ω(t)[(cid:12)(cid:12)\P(t ) − shQ(t)(cid:12)(cid:1 2)2 0.86
(cid:90) ] = (cid:90) ] = 0.82
Rd (cid:12)(cid:12)ΦP(t) − ΦQ(t)(cid:12)(cid:12) 2 Rd (cid:12)(cid:12)>P(t) − >Q(t)(cid:12)(cid:12) 2 0.81
Notations. Let us make a short note on the notations before continuing. 表記。 続行する前に記法について短い注記をしましょう。 0.52
Let k be the number of t drawn from ω and P be the probability measure of a random variable. k を ω から引き出された t の個数とし、P を確率変数の確率測度とする。 0.79
We group the CFs CFをグループ化する 0.80
associated to P of different frequencies, ((cid:98)ΦP(t1), . 異なる周波数のPに関連し、 (cid:98) =P(t1)。 0.78
. . ,(cid:98)ΦP(tk))(cid:62) more compactly as (cid:98)φP(x). . . , (cid:98) =P(tk))(cid:62) は (cid:98)φP(x) よりもコンパクトである。 0.81
To make the dependence of (cid:98)φP(x) on the sampled data explicit, we also use the following notation: (cid:80)n j=1 (cid:98)φP(xj). サンプルデータへの (cid:98) φp(x) の依存を明示するために、 (cid:80)n j=1 (cid:98) φp(xj) という表記を用いる。 0.75
We also normalize (cid:98)φP(xj) for any j such that (cid:107)(cid:98)φP(xj)(cid:107)2 = 1, where (cid:98)φP(x) = 1 (cid:98)φP as (cid:98)φ when there is no ambiguity in the underlying probability measure associated with the CF. また、 (cid:98)φP(xj) を (cid:107)(cid:98)φP(xj)(cid:107)2 = 1, ここで (cid:98)φP(x) = 1 (cid:98)φP を (cid:98)φ として正規化する。 0.78
the norm is taken over the (complex) frequency space. ノルムは(複雑な)周波数空間に乗じる。 0.52
With a slight abuse of notation, we abbreviate 表記の軽微な乱用により、私たちは省略する 0.61
n 3 Generative Model of PEARL n PEARLの3つの生成モデル 0.83
Let us describe a realization of the PEARL framework. PEARLフレームワークの実現について説明する。 0.60
The first step in PEARL is projecting the sensitive data to an embedding before performing sanitization. PEARLの最初のステップは、機密データを衛生化を実行する前に埋め込みに投影することである。
訳抜け防止モード: PEARLの最初のステップは 衛生を行う前に、機密データを埋め込みに投影する。
0.73
We realize this by projecting the data to the CF as in Eq 4, where the embedding’s dimension is determined by the number of frequency drawn from the sampling distribution. Eq4のようにデータをCFに投影することで、サンプリング分布から引き出された周波数数によって埋め込みの次元が決定される。
訳抜け防止モード: eq 4のようにデータをcfに投影することで、これを実現する。 埋め込みの次元はサンプリング分布から引き出される周波数の数によって決定される。
0.70
We choose to use CF as it has several attractive properties. いくつかの魅力的な特性を持つため、cfを使うように選択します。 0.47
CF is uniformly continuous and bounded, as can be seen from its expression in Eq 4. CF は一様連続で有界であり、Eq 4 での表現から見てもわかる。 0.71
Unlike the density function, the CF of a random variable always exists, and the uniqueness theorem implies that two distributions are identical if and only if the CFs of the random variables are equal [28]. 密度関数とは異なり、確率変数のCFは常に存在し、一意性定理は2つの分布が同一であることと、確率変数のCFが [28] であることを暗示する。 0.73
σ2I), (6) 3.1 Private Embeddings with CFs σ2I)。 (6) 3.1 CFによるプライベートな埋め込み 0.72
(cid:101)φ(x) = (cid:98)φ(x) + N (0, ∆2(cid:98)φ(x) (cid:101)φ(x) = (cid:98)φ(x) + N (0, >2(cid:98)φ(x) 0.93
The CF is sanitized with DP by applying the Gaussian mechanism (Defn. CFはガウス機構(Defn)を適用してDPで衛生する。 0.65
3) to(cid:98)φ(x): where we write the sanitized CF as (cid:101)φ(x); ∆(cid:98)φ(x) denotes the sensitivity of the CF, σ denotes the noise n). 3) to(cid:98)φ(x): ここで、消毒されたCFを (cid:101)φ(x) と書くと、(cid:98)φ(x) は CF の感度を表し、σ はノイズ n を表す。 0.82
The sensitivity of (cid:98)φ(x) may then be calculated as (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) 1 n(cid:88) n(cid:88) (cid:98)φ(xj) − 1 (cid:98)φ(x(cid:48) (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13) 1 n(cid:98)φ(x(cid:48) n(cid:98)φ(xn) − 1 cid:13)(cid:13)(cid: 13)(cid:13)(cid:13)( cid:13)(cid:88) 1 n(cid:88) (cid:98) φ(xj) − 1 (cid:98) φ(x(cid:48) (cid:13)(cid:13)(cid :13) 2 (cid:13)(cid:13)(cid :13) 1 n(cid:98) φ(x(cid:48) n(cid:98) φ(xn) − 1 と計算できる。 0.88
scale which is determined by the privacy budget, (, δ). プライバシ予算によって決定されるスケール ( , δ)。 0.62
Another reason we utilize the CF is that the calculation of sensitivity is tractable (no ad-hoc clipping à la DP-SGD), as shown below. CFを利用する別の理由は、後述したように感度の計算が(DP-SGDによるアドホックなクリッピングは行わない)可能であるからである。 0.58
Without loss of generality, consider two neighboring datasets of size n where only the last instance differs (xn (cid:54)= x(cid:48) 一般性を失うことなく、最後の例だけが異なる大きさnの隣接データセット(xn (cid:54)=x(cid:48)を考える。 0.67
where we have used triangle inequality and (cid:107)(cid:98)φ(·)(cid:107)2 = 1. ここで三角不等式と (cid:107)(cid:98) φ(·)(cid:107)2 = 1 を用いる。 0.74
Yet another advantage of using CFs is now CFを使うもうひとつの利点は 0.80
∆(cid:98)φ(x) = maxD,D(cid:48) (cid:98) φ(x) = maxd,d(cid:48) 0.80
apparent: the sensitivity is small as it is inversely proportional to the dataset size, which is important for controlling the magnitude of noise injection at practical privacy levels, as will be discussed in later Sections. 明らか: 感度はデータセットサイズに逆比例するため小さく、後段の節で議論されるように、実用的なプライバシレベルでノイズ注入の大きさを制御するのに重要である。 0.74
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)2 (cid:13)(cid:13)(cid :13)(cid:13)2 0.91
= max xn,x(cid:48) n = max xn,x(cid:48) n 0.98
n j=1 n) j) n j=1 n) j) 0.78
, = 2 n , n j=1 , = 2n。 n j=1 0.74
3.2 Generative Modelling via CFs 3.2 CFによる生成モデリング 0.69
Next, we would like to train a generative model where the CFs constructed from the generated data distribution, Y ⊆ Rd, matches those (sanitized) from the real data distribution, X ⊆ Rd. 次に、生成されたデータ分布から構築されたcfsが、実データ分布から構築されたそれら(サニタイズされた)とマッチする生成モデルを訓練したい。 0.75
A natural way of achieving this is via implicit generative modelling [29, 17]. これを実現する自然な方法は、暗黙的な生成モデリング [29, 17] である。 0.77
We introduce a generative model parametrized by θ, Gθ : Z → Rd, which takes a low-dimensional latent vector z ∈ Z sampled from a pre-determined distribution (e g , Gaussian distribution) as the input. θ, Gθ : Z → Rd でパラメータ化された生成モデルを導入し, 予め決定された分布(例えばガウス分布)から標本化した低次元潜在ベクトル z ∈ Z を入力とする。 0.90
4 4 0.85
英語(論文から抽出)日本語訳スコア
In order to quantify the discrepancy between the real and generated data distribution, we use the CFD defined in Eq 5. 実データ分布と生成データ分布の差分を定量化するために、Eq 5で定義されたCFDを用いる。 0.78
Empirically, when a finite number of frequencies, k, are sampled from ω, C2(P, Q) 経験的に、有限個の周波数 k が ω, C2(P, Q) からサンプリングされるとき 0.85
is approximated by(cid:98)C2(P, Q) = where(cid:98)ΦP(t) and(cid:98)ΦQ(t) are the empirical CFs evaluated from i.i.d. これは、(cid:98)C2(P, Q) = where(cid:98)/P(t) と(cid:98)/Q(t) によって近似される。 0.72
samples of distributions P and 分布pと分布のサンプル 0.91
(cid:12)(cid:12)(cid :98)ΦP(ti) −(cid:98)ΦQ(ti)(cid:12)(cid:12 )2 ≡(cid:13)(cid:13)(cid :13)(cid:98)φP(x) − (cid:98)φQ(x) (cid:13)(cid:13)(cid :13)2 (cid:12)(cid:12)(cid :98)(cid:98) φp(ti) −(cid:98) φq(ti)(cid:12)(cid:13 )(cid:13)(cid:98) φp(x) − (cid:98) φq(x) (cid:13)(cid:13)(cid :13)2 0.76
Q respectively. Denoting the real data distribution by Pr, and the output distribution of Gθ by Qθ, the training objective of the generator is to find the optimal θ ∈ Θ (Θ being the space θ lies in) that minimizes the empirical CFD: それぞれq。 pr による実データ分布と qθ による gθ の出力分布を意味するように、ジェネレータの訓練の目的は、経験的 cfd を最小化する最適な θ ∈ θ (θ は空間 θ に含まれる) を見つけることである。 0.73
k(cid:88) (7) k(cid:88) (7) 0.85
1 k i=1 2 , 1k i=1 2 , 0.74
CFD, min θ∈Θ cfd。 ミニθθθθ 0.54
(8) It can be shown via uniqueness theorem that as long as ω resides in Rd, C(P, Q) = 0 ⇐⇒ P = Q [39]. (8) ω が Rd, C(P, Q) = 0 > P = Q[39] に存在する限り、一意性定理によって示せる。 0.68
This makes CFD an ideal distance metric for training the generator. これによりCFDは発電機を訓練するための理想的な距離メートル法となる。 0.55
Optimization procedure. The generator parameter, θ, is updated as follows. 最適化手順。 生成パラメータ θ は次のように更新される。 0.76
(cid:98)φPr (x) is first sanitized to obtain (cid:101)φPr (x), as in Eq 6. (cid:98)φPr(x)はEq 6のように(cid:101)φPr(x)を得るために最初に衛生される。 0.76
This is performed only for once (one-shot). これは一度だけ行われる(ワンショット)。 0.79
Then, at each iteration, m samples of z are drawn to calculate (cid:98)φQθ (x). そして、各イテレーションでzのmサンプルを描画して(cid:98)φqθ(x)を算出する。 0.74
Gradient updates on θ are performed by minimizing the (cid:13)(cid:13)(cid :13)(cid:101)φPr (x) − (cid:98)φQθ (x) (cid:13)(cid:13)(cid :13)2 We note that only the first term,(cid:101)φ(x), has access to the real data distribution, X , of which privacy is of concern. θのグラディエント更新は (cid:13)(cid:13)(cid :13)(cid:101)φPr (x) − (cid:98)φQθ (x) (cid:13)(cid:13)(cid :13)(cid:13)2) 最初の項である (cid:101)φ(x) のみが実際のデータ配信、すなわちプライバシーが懸念される X へのアクセスを最小化する。 0.78
Then, by Thm. 1, Gθ trained with respect to (cid:101)φ(x) is DP. そして、Thm。 1, Gθ は (cid:101)φ(x) に対して DP である。 0.66
Furthermore, unlike DP-SGD, Proposition 1. さらに、DP-SGDとは異なり、命題1。 0.58
The generator Gθ trained to optimize Eq 8 with (cid:101)φ(x) sanitized according to Eq 6 satisfies (, δ)-DP, where σ ≥(cid:112)2 log(1.25/δ)/. ジェネレータ Gθ は Eq 8 を (cid:101)φ(x) で最適化する訓練をし、Eq 6 の満足度 σ ≥(cid:112)2 log(1.25/δ)/ を満足させた。 0.80
the training of Gθ is not limited by network size/layers or training iterations. Gθのトレーニングはネットワークサイズ/レイヤやトレーニングイテレーションによって制限されない。 0.73
Once the sanitized CF is released, there is no additional constraints due to privacy on the training procedure. サニタイズされたCFがリリースされると、トレーニング手順のプライバシによる追加の制約はない。 0.62
We summarize the above results in the following proposition: 上記の結果を下記の命題にまとめる。 0.59
. (cid:98)C2(Pr, Qθ). . (cid:98)C2(Pr, Qθ)。 0.84
3.3 Improving Generative Modelling 3.3 生成モデリングの改善 0.70
We propose several variants of PEARL that help improve the generative modelling ability. 生成的モデリング能力を向上させるために, PEARL のいくつかの変種を提案する。 0.61
Conditional CFs. CF 条件付きCF。 0.51
We first introduce the conditional version of CF. まずcfの条件付きバージョンを紹介します。 0.66
The main usage of conditional CFs is to generate data conditioned on class labels y. 条件の主な使用法 CFsはクラスラベル y で条件付けられたデータを生成する。 0.74
As p(x) =(cid:82) p(x|y)p(y)dy, the empirical CF p(x) =(cid:82) p(x|y)p(y)dy として、経験的CF 0.79
conditioned on y is rewritten as follows: yの条件は次のように書き直される。 0.66
(cid:98)φ(x, yi) = (cid:98)φ(x, yi) = 1.00
1 m m(cid:88) 1m m(cid:88) 0.82
Yi(cid:88) yi(cid:88) 0.65
(cid:98)φ(xj, yi), (cid:98)φ(xj, yi) 0.89
(cid:98)φ(x) = (cid:98)φ(x) = 0.96
(cid:98)φ(x, y) (cid:98)φ(x, y) 0.98
(9) Y(cid:88) (9) y(cid:88) 0.82
j=1 i=1 y=1 j=1 i=1 y=1。 0.55
where Yi is the total number of data instances conditioned on y = yi, and Y is the total number of labels. ここで Yi は y = yi で条件付けられたデータインスタンスの総数であり、Y はラベルの総数である。 0.84
Similar to conditional GAN [31], the generator is fed with a concatenated input of the noise z and y, i.e., Gθ(Z,Y). 条件付きGAN[31]と同様に、発生装置はノイズz,y,すなわちGθ(Z,Y)の連結入力で供給される。 0.75
Then, Eq 7 may be rewritten as そして、eq7を書き換えてもよい。 0.73
The sensitivity for the conditional case remains the same as those presented in Sec. 条件付きケースの感度はsecで提示されたものと同じである。 0.68
3.1: ∆(cid:98)φi(x,y) = 3.1: (cid:98) φi(x,y) = 0.86
2/m, where we have made the dependence on the condition y explicit. 2/mであり,条件yへの依存を明示した。 0.72
The Gaussian mechanism may then be used to sanitize the conditional CF in order to achieve DP. ガウスのメカニズムは、DPを達成するために条件CFを正にするために用いられる。
訳抜け防止モード: ガウスのメカニズムを使うことができる。 DPを達成するために条件CFを衛生化する。
0.67
DP release of auxiliary information. 補助情報のDPリリース。 0.62
Auxiliary information regarding to the dataset useful for generating data with better quality may be released under DP. 品質の良いデータを生成するのに有用なデータセットに関する補助情報はdp下で公開することができる。 0.67
The total privacy budget due to multiple releases of information is accounted for using the Rényi DP composition. 情報の複数リリースによる全体のプライバシー予算は、レニイDPの構成を用いて説明される。 0.71
1 Several examples of auxiliary information are given in Supplementary Sec. 1 補助情報のいくつかの例は補足secで与えられる。 0.65
E. 1We use the autodp package to keep track of the privacy budget [43]. e. 1 プライバシー予算を追跡するためにautodpパッケージを使用します[43]。 0.68
See Supplementary Sec. B for the 補足参照。 bは... 0.43
definition of Rényi DP. Rényi DP の定義。 0.77
5 (cid:98)C2(Pr, Qθ) = 5 (cid:98)C2(Pr, Qθ) = 0.86
k(cid:88) Y(cid:88) k(cid:88) y(cid:88) 0.81
i=1 j=1 1 k i=1 j=1 1k 0.62
(cid:12)(cid:12)(cid :98)ΦPr (ti, yj) −(cid:98)ΦQθ (ti, yj)(cid:12)(cid:12)2 (cid:12)(cid:98)(cid :98)(cid:12)(cid:12) (cid:12)(cid:12)2) 0.79
. (10) . (10) 0.85
英語(論文から抽出)日本語訳スコア
4 Adversarial Reconstruction Learning 4 対角的再構築学習 0.67
This Section is devoted to proposing a privacy-preserving critic for optimizing ω(t), while giving provable guarantees of performance. この節は、ω(t)を最適化するプライバシー保護批評家を提案し、性能の保証を提供する。 0.72
4.1 Distribution Optimization Back to Eq 5 and Eq 7, we note that choosing a “good” ω(t) or a “good” set of sampled frequencies is vital at helping to discriminate between P and Q. 4.1 配電最適化 eq 5 と eq 7 に戻ると、サンプル周波数の「良い」 ω(t) または「良い」集合を選択することは、p と q を区別するのに重要であることに注意する。 0.65
For example, if the difference between P and Q lies in the high-frequency region, one should choose to use t with large values to, in the language of two-sample testing, improve the test power. 例えば、P と Q の違いが高周波領域にある場合、2サンプルテストの言語では、テストパワーを改善するために、大きな値の t を使用する必要がある。 0.74
Adversarial objective. If the resulting empirical CFD remains small due to under-optimized ω(t), while the two distributions still differ significantly, the generator cannot be optimally trained to generate high-quality samples resembling the real data. 敵対的目的。 結果として得られる経験的cfdが低最適化 ω(t) のために小さいままであるならば、2つの分布は依然として大きく異なるが、生成器は実データに似た高品質なサンプルを生成するように最適に訓練することはできない。 0.57
Hence, we consider training the generator by, in addition to minimizing the empirical CFD, maximizing the empirical CFD using an adversarial objective which acts as a critic, where the empirical CFD is maximized by finding the best sampling distribution. そこで,本研究では,経験的CFDの最小化に加えて,経験的CFDの最大化と,最も優れたサンプリング分布を見つけることで経験的CFDを最大化することを検討する。 0.65
We consider a training objective of the form 我々はその形態の訓練目標を考える 0.73
2 (Pr, Qθ), (11) 2 (Pr,Qθ) (11) 0.83
(cid:99)Cω (cid:99)cω 0.72
inf θ∈Θ inf θθθ である。 0.45
sup ω∈Ω sup ω∞ω である。 0.32
where Ω is some set of probability distribution space of which the sampling distribution ω lives in. ここで Ω は、サンプリング分布 ω が居住する確率分布空間の集合である。 0.78
Privacy-preserving optimization. プライバシー保護最適化。 0.58
It is intractable to directly optimize ω in the integral form as in Eq 5. ω を eq 5 のように積分形式で直接最適化することは難解である。 0.76
A conventional way of resolving this is to use the reparametrization trick [23]. 従来の解決方法は、再パラメータ化トリック[23]を使用することです。 0.64
This involves sampling t from a pre-determined distribution, and transform it via a deterministic function ω = hψ(t) parametrized by ψ, where optimizing ω is reparametrized as optimizing ψ via gradient backpropogation. これは事前決定された分布から t をサンプリングし、それを ψ でパラメータ化された決定論的関数 ω = hψ(t) で変換することを含み、ここで ω の最適化は勾配バックプロポゲーションによる ψ の最適化として再パラメトリゼーションされる。 0.63
However, such a procedure is not privacy-preserving. しかし、そのような手続きはプライバシー保護ではない。 0.60
This is because it involves これが関係しているからです 0.60
re-calculating the data-dependent (cid:101)φ(x) using updated t, leading to privacy degradation at each (cid:12)(cid:12)(cid :101)ΦPr (ti) −(cid:98)ΦQθ (ti)(cid:12)(cid:12) 2, is obtained 更新tを用いてデータ依存(cid:101)φ(x)を再計算し、各(cid:12)(cid:12)(cid :101)φpr(ti) −(cid:98)φqθ(ti)(cid:12)(cid:12) 2でプライバシの劣化を引き起こす。 0.72
iteration. In this work, we instead opt for a one-shot sampling strategy where once the private data is released, no additional privacy-induced constraints on training procedures are incurred. イテレーション。 この作業では、プライベートデータがリリースされれば、トレーニング手順に関する追加のプライバシによる制約が発生しない、ワンショットサンプリング戦略を選択します。 0.57
We believe that such a new formulation of distribution learning alternative to the reparametrization trick is of independent interest as well. このような分散学習の新しい定式化は、再パラメータ化のトリックに代わるものでもあると信じている。 0.49
Recall from Sec. Secからのリコール。 0.71
3 that the empirical CFD, (cid:98)C2(Pr, Qθ) = 1 3 経験的CFD (cid:98)C2(Pr, Qθ) = 1 0.79
by drawing k frequencies from a base distribution ω0. 基底分布 ω0 から k 個の周波数を描画する。 0.71
Our idea is to find a (weighted) set of frequencies that gives the best test power from the drawn set. 私たちのアイデアは、描画されたセットから最高のテストパワーを与える(重み付けされた)周波数セットを見つけることです。 0.64
We propose Eq 1 as the optimization objective, restated below: 最適化の目的としてEq 1を提案する。 0.68
(cid:80)k k (cid:80)k k 0.85
i=1 k(cid:88) i=1 k(cid:88) 0.71
i=1 inf θ∈Θ i=1 inf θθθ である。 0.52
sup ω∈Ω sup ω∞ω である。 0.32
ω(ti) ω0(ti) ω(ti) ω0(ti) 0.94
(cid:12)(cid:12)(cid :101)ΦPr (ti) −(cid:98)ΦQθ (ti)(cid:12)(cid:12) 2 (cid:12)(cid:12)(cid :101)>Pr(ti) −(cid:98)>Qθ(ti)(cid:12)(cid:12) 2 0.74
. Note that the generator trained with this objective still satisfies DP as given in Prop. . この目的で訓練された発電機は、Propで与えられたDPを満たすことに注意してください。 0.65
1 due to Thm. 1. The following Lemma ensures that the discrete approximation of the inner maximization of Eq 1 approaches the population optimum as the number of sampling frequency increases (k → ∞): Lemma 1. 1であった。 1. 次のLemmaは、Eq 1 の内最大化の離散近似がサンプリング周波数の数が増加する(k → ∞): Lemma 1 に近づくことを保証している。 0.70
Let ω0 be any probability distribution defined on Rd, and let f : Rd → R(cid:48) be any function. ω0 を Rd 上の任意の確率分布とし、f : Rd → R(cid:48) を任意の函数とする。 0.82
Also let t ∈ Rd and ω∗ be the maximal distribution of ω with respect to Eω[f (t)] ≡(cid:82) f (t)ω(t)dt. また、 t ∈ Rd と ω∗ を Eω[f (t)] >(cid:82) f (t)ω(t)dt に関して ω の極大分布とする。 0.82
Assume that the empirical approximation(cid:98 )Eω[f (t)] → Eω[f (t)] at the asymptotic limit for any ω. 任意の ω に対する漸近極限における経験近似(cid:98)Eω[f (t)] → Eω[f (t)] を仮定する。 0.89
Then,(cid:98)Eω0 [f (t) ω∗(t) 次に、(cid:98)Eω0 [f (t) ω∗(t) 0.83
ω0(t) ] → Eω∗ [f (t)] at the asymptotic limit as well. ω0(t) ] → Eω∗ [f(t)] もまた漸近極限である。 0.82
The proof is in Supplementary Sec. 証拠は補足的secにある。 0.53
C, and is based on importance sampling. cであり、重要度サンプリングに基づいている。 0.69
Empirically, we find that treating ω(ti) as a free parameter and optimizing it directly does not lead to improvement in performance. 経験的に、ω(ti) を自由パラメータとして扱い、直接最適化することは、性能改善に繋がらない。 0.62
This may be due to the optimization procedure focusing too much on uninformative frequencies that contain merely noises due to DP or sampling. これは、DPやサンプリングによる単なるノイズを含む非形式周波数に重きを置く最適化手順が原因かもしれない。 0.74
We perform parametric optimization instead, that is, e g , we perform optimization with respect to {µ, σ} if ω is of the Gaussian form, N (µ, σ2). 代わりにパラメトリック最適化、すなわち、ω がガウス形式 N (μ, σ2) であれば {μ, σ} に関して最適化を行う。
訳抜け防止モード: 私たちは代わりにパラメトリック最適化、すなわち、例えば、実行します。 μ, σ } に関して最適化を行う ω はガウス形式 N ( μ, σ2 ) である。
0.79
4.2 Further Analyses 4.2 さらなる分析 0.75
Effectiveness of the critic. To further motivate why it is preferable to introduce an adversarial objective as in Eq 11, we present a simple demonstration through the lens of two-sample 評論家の有効性。 Eq 11のように対向目的を導入することが望ましい理由をさらに動機付けるために、2サンプルレンズによる簡単な実演を示す。 0.77
6 6 0.85
英語(論文から抽出)日本語訳スコア
testing [9, 22] using synthetic data generated from Gaussian distributions. ガウス分布から生成された合成データを用いて[9, 22]をテストする。 0.71
We generate two unitvariance multivariate Gaussian distributions P, Q, where all dimensions but one have zero mean (P ∼ N (0d, Id), Q ∼ N ((1, 0, . 単位分散多変量ガウス分布 p, q を 2 つ生成し、1 以外のすべての次元は 0 平均 (p ) n (0d, id), q ) n ((1, 0, ) となる。 0.80
. . , 0)(cid:62), Id)). . . , 0)(cid:62), id) である。 0.86
We conduct a two-sample test using the CF to distinguish between the two distributions, which gets more difficult as the dimensionality increases. 2つの分布を区別するためにcfを用いた2つのサンプルテストを実施し,次元が増加するとより困難になる。 0.75
We test if the null hypothesis where the samples are drawn from the same distribution is rejected. サンプルが同じ分布から引き出されるヌル仮説が拒否されるかどうかをテストする。 0.81
Higher rejection rate indicates better test power. 高い拒絶率は、より良いテストパワーを示す。 0.58
Note that the first dimension (where the distribution differs) of the frequency used to construct CFs is the most discriminative dimension for distinguishing the distributions. CFを構成するために使われる周波数の最初の次元(分布が異なる)は、分布を区別する最も識別的な次元である。 0.86
We first consider an “unoptimized” set of frequencies of size 20, where only one of them is discriminative. まず、20の周波数の「最適化されていない」集合を考え、そのうちの1つだけが識別可能である。
訳抜け防止モード: まず、20の周波数の“最適化されていない”集合を考える。 一人だけが差別的です
0.66
A “normal” set of frequencies is also considered for comparison, where the frequencies are sampled randomly from a multivariate Gaussian distributions. 周波数を多変量ガウス分布からランダムにサンプリングする「正規」な周波数集合も比較のために考慮される。 0.81
Finally, we consider an “optimized” set of frequencies, where we re-weight the set of unoptimized frequencies such that only the discriminative one has non-zero weight. 最後に,「最適化された」周波数セットを検討し,非最適化周波数の集合を再重み付けすることにより,判別可能な周波数のみが非ゼロの重みを持つようにした。 0.55
More details can be found in Supplementary Sec. 詳細はSupplementary Secで確認できる。 0.49
D. Fig. 2 shows the hypothesis rejection rate versus the number of dimensions for the three cases considered above. D.Fig 2は,上記の3例の仮説拒絶率と次元数を比較した。 0.59
As can be observed from the Figure, the “optimized” case gives overall the best test power. 図からわかるように、“最適化された”ケースは全体として最高のテスト能力を与えます。 0.69
While this experiment is somewhat contrived, it can be understood that although both “unoptimized” and “optimized” sets of frequencies contain the discriminative t0, the re-weighting procedure of selecting the most discriminative CF improves the test power significantly. この実験はやや複雑だが、周波数の「最適化されていない」集合と「最適化された」集合の両方が識別性t0を含むことは理解できるが、最も識別性cfを選択するための再重み付け手順は、テスト能力を大幅に改善する。
訳抜け防止モード: この実験はやや複雑ですが 非最適化」と「最適化」の両方の周波数セットは、識別性t0を含む。 最も差別的なcfを選択するre-重み付け手順は、テスト能力を大幅に改善する。
0.74
Even without re-sampling from a “better” ω(t), re-weighting the existing frequencies can improve the test power. ベター” ω(t) から再サンプリングしなくても、既存の周波数を再重み付けすることでテストパワーが向上する。 0.71
The fact that re-weighting can improve the test power is crucial privacy-wise because the altenative method, re-sampling, causes degradation in privacy. altenativeメソッドの再サンプリングは、プライバシの低下を引き起こすため、再重み付けによってテスト能力が向上するという事実は、プライバシ面で極めて重要である。 0.45
Performance guarantees. パフォーマンス保証。 0.71
Let us discuss the theoretical properties of Eq 11. eq 11 の理論的性質について論じる。 0.77
The objective defined in Eq. Eqで定義された目的。 0.68
11 shares beneficial properties similar to those required to train good GANs, first formulated in the Wasserstein GAN paper [3]. 11は、優れたGANを訓練するために必要な有益な特性を共有しており、最初にWasserstein GANの論文[3]で定式化されている。 0.46
First, the generator learns from a distance continuous and differentiable almost everywhere within the generator’s parameters. まず、ジェネレータは、ジェネレータのパラメータ内のほぼあらゆる場所で、連続的で微分可能な距離から学習する。 0.52
Second, the distance is continuous in weak topology, and thus provides informative feedback to the generator (different from, e g , the JensenShannon divergence, which does not satisfy this property). 第二に、距離は弱位相において連続であり、したがって生成元に情報的フィードバックを与える(例えば、ジェンセンシャノン発散(英語版)(JensenShannon divergence)は、この性質を満たさない)。 0.63
We make assumptions similar to those given in [3], and state the first theorem as follows. 我々は [3] で与えられたものと同様の仮定をし、最初の定理を次のように述べる。 0.70
Figure 2: Increased test power upon optimization (green) in two-sample test. 図2: 2サンプルテストにおける最適化(緑)によるテストパワーの向上。 0.76
Theorem 2. Assume that Gθ(z) is locally Lipschitz with respect to (θ, z); there exists L((θ, z) satisfying Ez [L(θ, z)] < ∞; and supω∈Ω ω(Pr, Qθ) is continuous in θ ∈ Θ everywhere, and differentiable in θ ∈ Θ almost everywhere. 定理2。 Gθ(z) が (θ, z) に関して局所リプシッツであると仮定すると、Ez [L(θ, z)] < ∞ を満たす L((θ, z) が存在し、supω∂Ω ω(Pr, Qθ) は θ ∈ > において至る所で連続であり、θ ∈ > においてほとんど至る所で微分可能である。 0.70
Eω [|t|] < ∞ for all t. Then, the function supω∈Ω C2 すべての t に対して eω [|t|] < ∞ である。 0.63
Note that the local Lipschitz assumptions are satisfied by commonly used neural network components, such as fully connected layers and ReLU activations. 局所リプシッツ仮定は、完全連結層やReLUアクティベーションなど、一般的に使用されるニューラルネットワークコンポーネントによって満たされる。 0.65
The continuity and differentiability conditions with respect to θ stated above allow Gθ to be trained via gradient descent. 上述したθに対する連続性と微分可能性条件により、Gθは勾配降下によって訓練される。 0.66
The theorem related to continuity in weak topology is the following: Theorem 3. 弱位相における連続性に関する定理は次のとおりである。 0.62
Let P be a distribution on X and (Pn)n∈N be a sequence of distributions on X . P を X 上の分布とし、(Pn)n~N を X 上の分布列とする。 0.87
Under ω(Pn, P) is continuous in the the assumption supω∈Ω ω(Pn, P) D−→ 0, where D−→ denotes convergence in weak topology, i.e., if Pn distribution. ω(Pn, P) の下では、仮定 supω∂Ω ω(Pn, P) D−→ 0 において連続であり、D−→ は弱位相、すなわち Pn 分布の収束を表す。 0.76
Eω(t) [(cid:107)t(cid:107)] < ∞, the function supω∈Ω C2 D−→ P, then supω∈Ω C2 eω(t) [(cid:107)t(cid:107)] < ∞, 函数 supωψω c2 d−→ p, そして supωψω c2 0.85
Weakness is desirable as the easier (weaker) it is for the distributions to converge, the easier it will be for the model to learn to fit the data distribution. 弱さは、分散が収束しやすい(弱くなる)ほど、モデルがデータ分散に適合することを学ぶのが簡単になるため、望ましい。 0.66
The core ideas used to prove both of these theorems are the fact that the difference of the CFs (which is of the form eia) can be bounded as follows: |eia − eib| ≤ |a − b|, and showing that the function is locally Lipschitz, which ensures the desired properties of continuity and differentiability. これらの定理の両定理を証明するのに用いられた核となる考え方は、cfs(eia形)の差が以下のように有界であるという事実である: |eia − eib| ≤ |a − b| 関数は局所リプシッツであり、連続性と微分可能性の望ましい性質を保証する。 0.78
See Supplementary Sec. C for the full proofs. 補足参照。 C (複数形 Cs) 0.37
7 20253035404550Dimens ions0.00.20.40.60.81 .0RejectionRateUnopt imizedNormalOptimize d 7 20253035454550dimens ions0.00.20.40.60.81 .0rejectionrate unoptimizednormalopt imized 0.47
英語(論文から抽出)日本語訳スコア
(a)  = ∞ (b)  = 10 (a)=∞ (b) が 10 である。 0.74
(c)  = 1 (d)  = 0.2 (c)=1 (d)→0.2 0.60
(e)  = ∞ (f)  = 10 (e)=∞ (f) が 10 である。 0.75
(g)  = 1 (h)  = 0.2 (g)=1 (h)→0.2 0.62
Figure 3: Generated MNIST and Fashion-MNIST samples for various values of  and δ = 10−5. 図3: δ = 10−5 の様々な値に対する MNIST と Fashion-MNIST のサンプルを生成する。 0.76
5 Experiments 5.1 Experimental Setup 5 実験 5.1 実験装置 0.74
To test the efficacy of PEARL, we perform empirical evaluations on three datasets, namely MNIST [25], Fashion-MNIST [45] and Adult [10]. PEARLの有効性を検証するために,MNIST[25],Fashion-MNIST[45],Ault [10]という3つのデータセットを用いて実験的な評価を行った。 0.68
2 Neural networks constructed from convolutional and fully connected layers are utilized as the generator for image and tabular datasets respectively. 畳み込み層と完全連結層からなる2つのニューラルネットワークをそれぞれ画像および表データ生成器として利用する。 0.74
Detailed setups are available in Supplementary Sec. 詳細なセットアップは、追加のsecで確認できる。 0.46
I. Training Procedure. As our training involves minimax optimization (Eq. I 訓練手順。 トレーニングには最小限の最適化(Eq)が必要です。 0.56
1), we perform gradient descent updates based on the minimization and maximization objectives alternately. 1) 最小化目標と最大化目標を交互に設定して勾配降下更新を行う。 0.76
We use a zeromean diagonal standard-deviation Gaussian distribution, N (0, diag(σ2) as the sampling distribution, ω. Maximization is performed with respect to σ. ゼロメアン対角線標準退化ガウス分布 (zeromean diagonal standard-deviation gaussian distribution, n (0, diag(σ2)) をサンプリング分布 ω として用いる。 0.83
The pseudo-code of the full algorithm is presented in Supplementary Sec. 完全なアルゴリズムの擬似コードは、Supplementary Secで示される。 0.74
G. Evaluation Metrics. In the main text and Supplementary Sec. G.評価基準 本文と補足のsecに載っています 0.55
J, we show qualitative results, i.e., synthetic images (image dataset) and histograms (tabular dataset) generated with PEARL. J,PEARLで生成された合成画像(画像データセット)とヒストグラム(タブラルデータセット)の質的な結果を示す。 0.73
Furthermore, for image datasets, the Fréchet Inception Distance (FID) [21] and Kernel Inception Distance (KID) [6] are used to evaluate the quantitative performance. さらに、画像データセットに対しては、Fréchet Inception Distance (FID) [21] と Kernel Inception Distance (KID) [6] を用いて定量的性能を評価する。 0.79
For tabular data, we use the synthetic data as the training data of 10 scikit-learn classifiers [37] and evaluate the classifiers’ performances on real test data. 表データについては、合成データを10個のscikit-learn分類器 [37]のトレーニングデータとして使用し、実際のテストデータで分類器の性能を評価する。 0.74
ROC (area under the receiver operating characteristics curve) and PRC (area under the precision recall curve) are the evaluation metrics. ROC(受信機動作特性曲線の領域)とPRC(高精度リコール曲線の領域)が評価指標である。 0.75
We provide the definitions and details of FID and KID in Supplementary Sec. 補足 Sec における FID と KID の定義と詳細を提供する。 0.83
H. 5.2 Evaluation Details MNIST and Fashion-MNIST. H! 5.2評価 MNISTとFashion-MNIST。 0.73
During training, we fix the inverse standard deviation of the base distribution, ω0, to be the DP estimate of the mean of the pairwise distance of the data, motivated by the median heuristic [16]. トレーニング中, 基本分布の逆標準偏差 ω0 を, 中心ヒューリスティック [16] を動機としたデータ対距離の平均のDP推定値として固定する。 0.62
Mean is estimated instead of median as its sensitivity is more tractable when considering neighboring datasets. 平均は中央値の代わりに推定され、その感度は隣り合うデータセットを考えるときより扱いやすい。 0.63
See Supplementary Sec. F for the calculation of the DP estimate. 補足参照。 F は DP 推定値の計算である。 0.57
Privacy budget is allocated equally between the sanitization of CFs and the release of auxiliary information. プライバシー予算はcfsの衛生化と補助情報のリリースの間で等しく割り当てられる。 0.67
Some of the generated images are shown in Fig 3. 生成された画像のいくつかは図3に示されています。 0.61
At the non-private limit ( = ∞), the quality of the images is worse than other popular non-private approaches such as GANs. 非プライベートな極限(\ = ∞)では、画像の品質はgansのような他の一般的な非プライベートなアプローチよりも悪い。 0.74
This is due to two reasons. これは2つの理由による。 0.78
First, the original data is projected to a lower dimension, losing some information in the process. まず、元のデータは低い次元に投影され、プロセスでいくつかの情報を失う。 0.71
Second, our architecture does not have a discriminator-like network as in the vanilla GAN framework to improve the generative modelling capability. 第2に、当社のアーキテクチャは、生成モデリング能力を改善するために、バニラGANフレームワークのような差別的ネットワークを持っていません。 0.58
However, we notice that the quality of the images does not drop much as the privacy level increases (except at  = 0.2, where the quality starts to degrade visibly). しかし、プライバシーレベルが向上するにつれて、画像の品質は低下しない(ただし、画質が視認的に低下し始める 0.2 = 0.2 の場合を除く)。 0.77
This can be understood from arguments given below Eq 6, where it is shown that the noise added to the CFs is small as it scales inversely proportional to the total sample size. これは、CFに付加されるノイズが全サンプルサイズに逆比例するにつれて小さくなることを示すEq 6以下の議論から理解することができる。 0.70
It also indicates that our approach works particularly well at practical levels of privacy. また、我々のアプローチは特に実用的なプライバシーレベルでうまく機能することを示している。 0.59
We now provide quantitative results by performing evaluation at (, δ) = (1, 10−5). 現在, δ) = (1, 10−5) の評価を行い, 定量的な結果が得られる。 0.79
We compare PEARL 我々はPEARLを比較する 0.60
2Source codes for running our experiments will be available upon publication. 2 実験を実行するためのソースコードは、公開時に公開されます。 0.56
8 8 0.85
英語(論文から抽出)日本語訳スコア
Datasets MNIST Datasets MNIST 0.85
Metrics FID KID (×103) Metrics FID KID (×103) 0.97
Fashion-MNIST FID Fashion-MNIST FID 0.71
KID (×103) DP-MERF 49.9 ± 0.22 148 ± 46.2 37.0 ± 0.15 1220 ± 36.1 KID(×103) DP-MERF 49.9 ± 0.22 148 ± 46.2 37.0 ± 0.15 1220 ± 36.1 0.78
Ours (Min only) Ours (Minimax) 3.79 ± 0.06 77.8 ± 9.88 1.99 ± 0.04 24.0 ± 6.90 ミニマックス3.79 ± 0.06 77.8 ± 9.88 1.99 ± 0.04 24.0 ± 6.90 0.70
3.52 ± 0.06 70.5 ± 10.3 1.92 ± 0.04 26.9 ± 6.80 3.52 ± 0.06 70.5 ± 10.3 1.92 ± 0.04 26.9 ± 6.80 0.53
Table 1: FID and KID (lower is better) on image datasets at (, δ) = (1, 10−5). 表1: FID と KID (より低い方がよい) のイメージデータセットは、 ( , δ) = (1, 10−5) である。 0.84
Data Real data DP-MERF データ実データ DP-MERF 0.69
Ours Metrics ROC PRC ROC PRC ROC PRC 我々の メトリクスROC PRC ROC PRC ROC PRC 0.71
Average 0.765 ± 0.047 0.654 ± 0.050 0.641 ± 0.044 0.536 ± 0.034 0.721 ± 0.035 0.618 ± 0.033 平均 0.765 ± 0.047 0.654 ± 0.050 0.641 ± 0.044 0.536 ± 0.034 0.721 ± 0.035 0.618 ± 0.033 0.65
Figure 4: Plot of histogram for the “marital-status” attribute of the Adult dataset. 図4: アダルトデータセットの“marital-status”属性に対するヒストグラムのプロット。 0.81
Evaluation is performed at (, δ) = (1, 10−5). 評価は ( , δ) = (1, 10−5) で行われる。 0.81
Table 2: Average ROC and PRC scores for the Adult dataset evaluated at (, δ) = (1, 10−5). 表2: アダルトデータセットの平均ROC値とRC値のスコアは (a, δ) = (1, 10−5) である。 0.74
mainly with DP-MERF [18], as other methods do not produce usable images at single-digit . 主にDP-MERF [18] で、他の方法では、単一桁で使用可能な画像は生成しない。 0.58
3 We run the experiment five times (with different random seeds each time), and for each time, 60k samples are generated to evaluate the FID and KID. 3) 実験を5回実施し, それぞれ60kサンプルを生成し, FIDとKIDを評価した。
訳抜け防止モード: 3) 実験を5回(ランダムな種子を1回ずつ)実施しました。 そして毎回、fidとkidを評価するために60kのサンプルが生成される。
0.71
In Table 1, the FID and KID (average and error) of DP-MERF, PEARL but without maximization, and PEARL (with maximization) are shown. 表1では、DP-MERF、PEARL、PEARLのFIDおよびKID(平均と誤差)を最大化せずに示す。 0.62
It can be seen that PEARL outperforms DP-MERF significantly, and the maximization procedure leads to improvement in the scores. PEARLはDP-MERFを著しく上回り、最大化手順はスコアの改善につながる。 0.47
Adult. The Adult dataset consists of continuous and categorical features. 大人。 アダルトデータセットは、連続的および分類的特徴からなる。 0.67
As data pre-processing, continuous features are scaled to [0, 1], 4 while categorical features are one-hot encoded. データ前処理では、連続的な機能は[0, 1], 4にスケールされ、カテゴリ的機能は1ホットエンコードされます。 0.66
We also compare our results with DP-MERF, as DP-MERF performs best among other existing methods. また,DP-MERFが他の既存手法よりも優れており,DP-MERFと比較した。 0.59
As in DP-MERF, to deal with class imbalance, auxiliary information of class counts are released with DP to re-weight the CF of each class. DP-MERFと同様に、クラス不均衡に対処するため、各クラスのCFを再重み付けするために、クラスカウントの補助情報をDPで解放する。 0.65
Again, auxiliary information and CFs share equal budget of privacy, and we perform evaluation at (, δ) = (1, 10−5). また、補助情報とCFは同等にプライバシーの予算を共有しており、我々は ( , δ) = (1, 10−5) の評価を行う。 0.62
11k synthetic samples are generated for evaluation. 評価のために11kの合成サンプルが生成される。 0.61
A plot of histogram of the “marital-status” attribute comparing the real and synthetic data is shown in Fig. 実データと合成データを比較した"marital-status"属性のヒストグラムのプロットを図に示す。 0.81
4. As can be observed in the Figure, PEARL is able to model the real data better than DP-MERF, covering more modes in the categorical variable with less discrepancy in the frequency of each mode. 4. 図に示すように、PEARLはDP-MERFよりもリアルデータをモデル化することができ、各モードの周波数の差が少なく、カテゴリ変数のより多くのモードをカバーすることができる。 0.79
The average ROC and PRC scores (average and error) are shown in Table 2. 平均ROCスコアとPRCスコア(平均値と誤差)を表2に示す。 0.78
ROC and PRC scores based on PEARL’s training data are shown to be closer to those based on real training data compared to DP-MERF. PEARLのトレーニングデータに基づくROCとPRCのスコアは、DP-MERFと比較すると、実際のトレーニングデータに基づくスコアに近いことが示されている。
訳抜け防止モード: PEARLのトレーニングデータに基づくROCとPRCのスコアを示す。 DP-MERFと比較して、実際のトレーニングデータに基づくものに近づきます。
0.78
In Supplementary Sec. J, we show more detailed results, including more histogram plots, and the scores of each classifier. 補足 Sec。 j,より多くのヒストグラムプロット,各分類器のスコアなど,より詳細な結果を示す。 0.59
Overall, we have demonstrated that PEARL is able to produce high-quality synthetic data at practical privacy levels. 全体として、PEARLは実用的なプライバシーレベルで高品質な合成データを生成することができることを示した。 0.60
6 Conclusion We have developed a DP framework to synthesize data with deep generative models. 6 結論 深い生成モデルを用いてデータを合成するDPフレームワークを開発した。 0.84
Our approach provides synthetic samples at practical privacy levels, and sidesteps difficulties encountered in DP-SGD. 本手法は,実用的なプライバシレベルにおいて合成サンプルを提供し,dp-sgdで遭遇する困難を回避できる。 0.49
We comment on several potential future directions. いくつかの今後の方向性についてコメントする。 0.43
While we have limited ourselves to characteristic functions, it is interesting to adopt and adapt other GAN paradigms to the PEARL framework (e g , IPM-GANs which are discussed in Supplementary Sec. 我々は特性関数に制限されているが、他のGANパラダイムをPEARLフレームワーク(例えば、補足Secで議論されるIMM-GAN)に適用し、適応することは興味深い。 0.63
A). Moreover, throughout the current work, we have taken the extreme limit where the sensitive data is transformed, sanitized, and released in a one-shot fashion. A)。 さらに、現在の作業を通じて、センシティブなデータが変換され、衛生化され、ワンショットで解放される極端な限界を捉えました。 0.69
Allowing more accesses to the data could be more beneficial in terms of the privacy-utility trade-off. データへのアクセスを増やすことは、プライバシーとユーティリティのトレードオフに関してより有益だ。 0.63
We intend to study these aspects in the future. 私たちはこれらの側面を将来研究するつもりです。 0.69
3As DP-MERF also uses a sampling distribution but does not allocate privacy budget for calculating the 3as dp-merfはまたサンプリング分布を用いるが、プライバシ予算を割り当てて計算しない。 0.62
parameters of the sampling distribution, we fix its sampling distribution to be N (0, diag(1)). サンプリング分布のパラメータとして,サンプリング分布をn(0,diag(1))に固定する。 0.67
4For visualization, we map the results back to the original domain. 4 視覚化のために、結果を元のドメインにマップします。 0.69
9 0.01.02.03.04.05.06. 0category101102103co untRealOursDP-MERF 9 0.01.02.03.04.05.06. 0category101102103co untRealOursDP-MERF 0.48
英語(論文から抽出)日本語訳スコア
References [1] Martin Abadi, Andy Chu, Ian Goodfellow, H Brendan McMahan, Ilya Mironov, Kunal Talwar, and Li Zhang. 参照: [1] Martin Abadi, Andy Chu, Ian Goodfellow, H Brendan McMahan, Ilya Mironov, Kunal Talwar, Li Zhang
訳抜け防止モード: 参考文献 [1 ] Martin Abadi, Andy Chu, Ian Goodfellow, H Brendan McMahan氏、Ilya Mironov氏、Kunal Talwar氏、Li Zhang氏。
0.83
Deep learning with differential privacy. 差分プライバシーによる深層学習。 0.76
In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, pages 308–318. 2016 ACM SIGSAC Conference on Computer and Communications Security”. 308–318頁。 0.73
ACM, 2016. 2016年、ACM。 0.87
[2] Abdul Fatir Ansari, Jonathan Scarlett, and Harold Soh. [2] abdul fatir ansari、jonathan scarlett、harold soh。 0.49
A characteristic function approach to deep implicit generative modeling. 深い暗黙的生成モデルに対する特徴関数アプローチ 0.72
In IEEE Conference on Computer Vision and Pattern Recognition, 2020. IEEE Conference on Computer Vision and Pattern Recognition, 2020に参加。 0.87
[3] Martín Arjovsky, Soumith Chintala, and Léon Bottou. マルティン・アルヨフスキー(Martín Arjovsky)、スーミト・チンタラ(Soumith Chintala)、レオン・ボト(Léon Bottou)。 0.45
Wasserstein gan. ワッサーシュタイン・ガン。 0.18
ArXiv, abs/1701.07875, ArXiv, abs/1701.07875 0.71
2017. [4] Eugene Bagdasaryan, Omid Poursaeed, and Vitaly Shmatikov. 2017. [4] Eugene Bagdasaryan, Omid Poursaeed, Vitaly Shmatikov. 0.80
Differential privacy has disparate impact on model accuracy. 差分プライバシーはモデルの精度に異なる影響を与える。 0.68
In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d’Alché-Buc, Emily B. Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d’Alché-Buc, Emily B 0.85
Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pages 15453–15462, 2019. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, page 15453–15462, 2019 0.90
[5] Marc G Bellemare, Ivo Danihelka, Will Dabney, Shakir Mohamed, Balaji Lakshminarayanan, Stephan Hoyer, and Rémi Munos. 5] Marc G Bellemare, Ivo Danihelka, Will Dabney, Shakir Mohamed, Balaji Lakshminarayanan, Stephan Hoyer, Rémi Munos。 0.74
The Cramer distance as a solution to biased Wasserstein gradients. 偏ったワッサースタイン勾配の解としてのクラー距離 0.55
arXiv preprint arXiv:1705.10743, 2017. arXiv preprint arXiv:1705.10743, 2017 0.79
[6] Mikołaj Bi´nkowski, Dougal J Sutherland, Michael Arbel, and Arthur Gretton. 6] Mikołaj Bi ́nkowski, Dougal J Sutherland, Michael Arbel, Arthur Gretton。 0.79
Demystifying MMD GANs. 脱線 MMD GANS所属。 0.52
arXiv preprint arXiv:1801.01401, 2018. arXiv preprint arXiv:1801.01401, 2018 0.80
[7] Dingfan Chen, Tribhuvanesh Orekondy, and Mario Fritz. Dingfan Chen氏、Tribhuvanesh Orekondy氏、Mario Fritz氏。 0.53
Gs-wgan: A gradient-sanitized approach for learning differentially private generators. gs-wgan: 微分プライベートジェネレータを学習するための勾配サニタイズドアプローチ。 0.62
In Advances in Neural Information Processing Systems 33, 2020. 2020年 神経情報処理システム33号の進歩です 0.66
[8] Rui Chen, Qian Xiao, Yu Zhang, and Jianliang Xu. 8]rui chen、qian xiao、yu zhang、jianliang xu。 0.48
Differentially private high-dimensional data publication via sampling-based inference. サンプリングベース推論による個人用高次元データパブリッシング。 0.57
In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 129–138, 2015. 第21回 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, page 129–138, 2015 に参加して 0.90
[9] Kacper P Chwialkowski, Aaditya Ramdas, Dino Sejdinovic, and Arthur Gretton. Kacper P Chwialkowski, Aaditya Ramdas, Dino Sejdinovic, そしてArthur Gretton。 0.60
Fast twosample testing with analytic representations of probability measures. 確率測度の解析表現を用いた高速2サンプルテスト。 0.75
In Advances in Neural Information Processing Systems, pages 1981–1989, 2015. Advanceds in Neural Information Processing Systems, pages 1981–1989, 2015 0.77
[10] Dheeru Dua and Casey Graff. [10]Dheeru DuaとCasey Graff。 0.76
UCI machine learning repository, 2017. UCI機械学習レポジトリ、2017年。 0.79
[11] Cynthia Dwork. Cynthia Dwork. [11] Cynthia Dwork. 0.74
Differential privacy. 異なるプライバシー。 0.62
In Proceedings of the 33rd international conference on Automata, Languages and Programming-Volume Part II, pages 1–12. 第33回Automata, Languages and Programming-Volume Part IIに関する国際会議(Proceedings of the 33rd International Conference on Automata, Languages and Programming-Volume Part II, page 1–12。
訳抜け防止モード: 第33回オートマタ・言語・プログラミング国際会議報告 - 巻II- 1-12頁。
0.60
Springer-Verlag, 2006. [12] Cynthia Dwork. 春田、2006年。 Cynthia Dwork. [12] Cynthia Dwork. 0.51
A firm foundation for private data analysis. プライベートデータ分析のための強固な基盤。 0.79
Communications of the ACM, ACMのコミュニケーション 0.49
54(1):86–95, 2011. 54(1):86–95, 2011. 0.88
[13] Cynthia Dwork and Aaron Roth. 13]Cynthia DworkとAaron Roth。 0.62
The algorithmic foundations of differential privacy. 差分プライバシーのアルゴリズムの基礎。 0.67
Found. Trends Theor. 見つかった 傾向理論家。 0.58
Comput. Sci., 9:211–407, August 2014. Comput sci., 9:211–407, 2014年8月。 0.55
[14] Herbert Federer. ハーバート・フェデラー(Herbert Federer)。 0.66
Geometric measure theory. Springer, 2014. 幾何学的測度理論。 2014年春。 0.62
[15] Lorenzo Frigerio, Anderson Santana de Oliveira, Laurent Gomez, and Patrick Duverger. Lorenzo Frigerio氏、Anderson Santana de Oliveira氏、Laurent Gomez氏、Patrick Duverger氏。 0.68
Differentially private generative adversarial networks for time series, continuous, and discrete open data. 時系列、連続、離散的オープンデータのための微分プライベート生成型逆ネットワーク。 0.73
In ICT Systems Security and Privacy Protection - 34th IFIP TC 11 International Conference, SEC 2019, Lisbon, Portugal, June 25-27, 2019, Proceedings, pages 151–164, 2019. ICTシステムセキュリティとプライバシ保護 - 第34回IFIP TC 11 International Conference, SEC 2019, Lisbon, Portugal, June 25-27, Proceedings, page 151–164, 2019 0.85
[16] Damien Garreau, Wittawat Jitkrittum, and Motonobu Kanagawa. [16]ダミアン・ガロー、ウィッタワット・ジットクリットゥム、そして神奈川元信。 0.54
Large sample analysis of the 大規模なサンプル分析 0.79
median heuristic, 2018. 中央ヒューリスティック、2018年。 0.51
[17] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Ian Goodfellow氏、Jean Pouget-Abadie氏、Mehdi Mirza氏、Bing Xu氏、David Warde-Farley氏、Sherjil Ozair氏、Aaron Courville氏、Yoshua Bengio氏。
訳抜け防止モード: Ian Goodfellow, Jean Pouget - Abadie, Mehdi Mirza, Bing Xu, David Warde - Farley, Sherjil Ozair, Aaron Courville ヨシュア・ベンジオ(Yoshua Bengio)。
0.82
Generative adversarial nets. In Advances in Neural Information Processing Systems, pages 2672–2680, 2014. 敵ネットの生成。 Advanceds in Neural Information Processing Systems, pages 2672–2680, 2014 0.70
10 10 0.85
英語(論文から抽出)日本語訳スコア
[18] Frederik Harder, Kamil Adamczewski, and Mijung Park. 16]Frederik Harder, Kamil Adamczewski, Mijung Park。 0.57
DP-MERF: differentially private mean embeddings with randomfeatures for practical privacy-preserving data generation. dp-merf: プライバシ保護データ生成のためのランダム機能付き差分プライベートな平均埋め込み。 0.64
In Arindam Banerjee and Kenji Fukumizu, editors, The 24th International Conference on Artificial Intelligence and Statistics, AISTATS 2021, April 13-15, 2021, Virtual Event, volume 130 of Proceedings of Machine Learning Research, pages 1819–1827. Arindam Banerjee and Fukumizu Kenji, editors, the 24th International Conference on Artificial Intelligence and Statistics, AISTATS 2021, April 13-15, 2021, Virtual Event, Volume 130 of Proceedings of Machine Learning Research, page 1819–1827 0.88
PMLR, 2021. PMLR、2021年。 0.80
[19] Moritz Hardt, Katrina Ligett, and Frank Mcsherry. 19]モリッツ・ハード、カトリーナ・リゲット、フランク・マクシェリー 0.49
A simple and practical algorithm for differentially private data release. 差分プライベートデータリリースのためのシンプルで実用的なアルゴリズム。 0.78
In F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 25, pages 2339–2347. F. Pereira, C. J. C. Burges, L. Bottou, K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 25 pages 2339–2347。 0.95
Curran Associates, Inc., 2012. Curran Associates, Inc., 2012 0.70
[20] CE Heathcote. [20] CE ヒースコート。 0.69
A test of goodness of fit for symmetric random variables. 対称確率変数に対する適合性の試験。 0.65
Australian Journal of australian journal (英語) 0.64
Statistics, 14(2):172–181, 1972. 統計:14(2):172–181, 1972。 0.80
[21] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. [21]Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, Sepp Hochreiter。 0.75
GANs trained by a two time-scale update rule converge to a local Nash equilibrium. 2つの時間スケール更新規則で訓練されたganは局所nash平衡に収束する。 0.57
In Advances in Neural Information Processing Systems, pages 6626–6637, 2017. In Advances in Neural Information Processing Systems, page 6626–6637, 2017 0.86
[22] Wittawat Jitkrittum, Zoltán Szabó, Kacper P. Chwialkowski, and Arthur Gretton. Wittawat Jitkrittum, Zoltán Szabó, Kacper P. Chwialkowski, そしてArthur Gretton。 0.64
Interpretable distribution features with maximum testing power. 最大テスト能力を持つ解釈可能な配布機能。 0.63
In Daniel D. Lee, Masashi Sugiyama, Ulrike von Luxburg, Isabelle Guyon, and Roman Garnett, editors, Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain, pages 181–189, 2016. Daniel D. Lee, Masashi Sugiyama, Ulrike von Luxburg, Isabelle Guyon, Roman Garnett, editors, Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, Spain, Spain, pages 181–189, 2016 0.81
[23] Diederik P Kingma and Max Welling. [23]Diederik P KingmaとMax Welling。 0.76
Auto-encoding variational bayes. 自動エンコーディング変分ベイズ。 0.67
arXiv preprint arXiv プレプリント 0.83
arXiv:1312.6114, 2013. 2013年、arxiv:1312.6114。 0.33
[24] Achim Klenke. achim Klenke (複数形 achim Klenkes) 0.61
Probability theory: a comprehensive course. 確率論:総合的なコース。 0.73
Springer Science & Business Springer Science & Business 0.85
Media, 2013. 2013年、メディア。 0.87
[25] Yann LeCun, Corinna Cortes, and CJ Burges. Yann LeCun氏、Corinna Cortes氏、CJ Burges氏。 0.55
Mnist handwritten digit database. Mnist 手書き桁データベース。 0.72
ATT Labs [Online]. ATTラボ [オンライン] 0.60
Available: http://yann.lecun.co m/exdb/mnist, 2, 2010. http://yann.lecun.co m/exdb/mnist, 2010 0.62
[26] Chun-Liang Li, Wei-Cheng Chang, Yu Cheng, Yiming Yang, and Barnabás Póczos. [26]Chun-Liang Li、Wei-Cheng Chang、Yu Cheng、Yiming Yang、Barnabás Póczos。 0.74
MMD gan: Towards deeper understanding of moment matching network. MMD gan: モーメントマッチングネットワークのより深い理解を目指して。 0.79
In Advances in Neural Information Processing Systems, pages 2203–2213, 2017. In Advances in Neural Information Processing Systems, page 2203–2213, 2017 0.86
[27] Shengxi Li, Zeyang Yu, Min Xiang, and Danilo P. Mandic. 27]shengxi li、zeyang yu、min xiang、danilo p. mandic。 0.52
Reciprocal adversarial learning via characteristic functions. 特徴関数による相反する逆逆学習 0.70
In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, MariaFlorina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020. Hugo Larochelle氏、Marc’Aurelio Ranzato氏、Raia Hadsell氏、MariaFlorina Balcan氏、Hsuan-Tien Lin氏、編集者、Advanceds in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020。 0.89
[28] Eugene Lukacs. ユージーン・ルーカス(Eugene Lukacs)。 0.54
A survey of the theory of characteristic functions. 特徴関数の理論に関する調査。 0.67
Advances in Applied Probability, 4(1):1–37, 1972. 応用の進歩 確率 4(1):1-37, 1972。 0.76
[29] David J.C MacKay. 29] デビッド・j・c・マッケイ 0.59
Bayesian neural networks and density networks. ベイジアンニューラルネットワークと密度ネットワーク。 0.72
Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, 354(1):73–80, 1995. 物理学研究部門a:加速器、分光計、検出器および関連する機器、354(1):73–80、1995。 0.73
Proceedings of the Third Workshop on Neutron Scattering Data Analysis. 第3回中性子散乱データ解析ワークショップの開催報告 0.68
[30] Ilya Mironov. イリヤ・ミロノフ(Ilya Mironov)。 0.54
Rényi differential privacy. Rényi差分プライバシー。 0.66
In 2017 IEEE 30th Computer Security Foundations 2017年IEEE 30th Computer Security Foundations 0.85
Symposium (CSF), pages 263–275. シンポジウム (CSF) 263-275頁。 0.74
IEEE, 2017. 2017年、IEEE。 0.63
[31] Mehdi Mirza and Simon Osindero. [31]Mehdi MirzaとSimon Osindero。 0.75
Conditional generative adversarial nets. 条件付き生成敵ネット。 0.66
CoRR, abs/1411.1784, 2014. CoRR abs/1411.1784, 2014 0.58
[32] Noman Mohammed, Rui Chen, Benjamin C.M. [32]Noman Mohammed,Rui Chen,Benjamin C.M. 0.93
Fung, and Philip S. Yu. FungとPhilip S. Yu。 0.75
Differentially private data release for data mining. データマイニングのための異なるプライベートデータリリース。 0.77
In Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’11, pages 493–501, New York, NY, USA, 2011. The 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’11, page 493–501, New York, NY, USA, 2011 0.77
ACM. [33] Youssef Mroueh and Tom Sercu. ACM。 [33]Youssef Mroueh氏とTom Sercu氏。 0.84
Fisher GAN. Fisher GAN 0.59
In Advances in Neural Information Processing Systems, pages 2513–2523, 2017. 神経情報処理の進歩 2017年、2513-2523頁。 0.58
11 11 0.85
英語(論文から抽出)日本語訳スコア
[34] Youssef Mroueh, Tom Sercu, and Vaibhava Goel. Youssef Mroueh氏、Tom Sercu氏、Vaibhava Goel氏。 0.61
McGAN: Mean and covariance feature McGAN: 意味と共分散機能 0.87
matching gan. arXiv preprint arXiv:1702.08398, 2017. ganと一致する。 arXiv preprint arXiv:1702.08398, 2017 0.70
[35] Nicolas Papernot, Martín Abadi, Úlfar Erlingsson, Ian Goodfellow, and Kunal Talwar. 35] nicolas papernot, martín abadi, úlfar erlingsson, ian goodfellow, kunal talwar。 0.54
Semisupervised Knowledge Transfer for Deep Learning from Private Training Data. プライベートトレーニングデータからの深層学習のための半教師付き知識伝達 0.72
In Proceedings of the International Conference on Learning Representations (ICLR), April 2017. 2017年4月、国際学習表現会議(ICLR)に参加。 0.64
[36] Mijung Park, James R. Foulds, Kamalika Choudhary, and Max Welling. Mijung Park, James R. Foulds, Kamalika Choudhary, Max Welling。 0.61
DP-EM: differentially private expectation maximization. DP-EM: 差分プライベート期待最大化。 0.70
In Aarti Singh and Xiaojin (Jerry) Zhu, editors, Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, AISTATS 2017, 20-22 April 2017, Fort Lauderdale, FL, USA, volume 54 of Proceedings of Machine Learning Research, pages 896–904. Aarti Singh and Xiaojin (Jerry) Zhu, editors, Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, AISTATS 2017, 20-22 April 2017, Fort Lauderdale, FL, USA, Volume 54 of Proceedings of Machine Learning Research, page 896–904. 0.91
PMLR, 2017. 2017年、PMLR。 0.66
[37] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, E. Duchesnay 0.95
Scikit-learn: Machine learning in Python. scikit-learn: pythonのマシンラーニング。 0.82
Journal of Machine Learning Research, 12:2825–2830, 2011. Journal of Machine Learning Research, 12:2825–2830, 2011 0.79
[38] Wahbeh Qardaji, Weining Yang, and Ninghui Li. [38]Wahbeh Qardaji、Weining Yang、Ninghui Li。 0.62
Priview: practical differentially private release In Proceedings of the 2014 ACM SIGMOD international priview: practical differentially private release in proceedings of the 2014 acm sigmod international 0.74
of marginal contingency tables. 限局的な偶発性表です 0.44
conference on Management of data, pages 1435–1446, 2014. データの管理に関する会議、1435-1446頁、2014年。 0.64
[39] Bharath K Sriperumbudur, Kenji Fukumizu, and Gert RG Lanckriet. 39]Bharath K Sriperumbudur, Fukumizu, Gert RG Lanckriet 0.49
Universality, characteristic kernels and rkhs embedding of measures. 普遍性、特性核、測度のrkhs埋め込み。 0.57
Journal of Machine Learning Research, 12(7), 2011. Journal of Machine Learning Research, 12(7)、2011年。 0.81
[40] Shun Takagi, Tsubasa Takahashi, Yang Cao, and Masatoshi Yoshikawa. [40]俊高木、司高橋、陽曹、吉川正利 0.46
P3GM: private high-dimensional data release via privacy preserving phased generative model. p3gm: プライバシ保護フェーズ生成モデルによるプライベートな高次元データリリース。 0.68
CoRR, abs/2006.12101, 2020. CoRR, abs/2006.12101, 2020 0.78
[41] Tsubasa Takahashi, Shun Takagi, Hajime Ono, and Tatsuya Komatsu. [41]司高橋、春高木、白目小野、辰屋小松。 0.48
Differentially private variational autoencoders with term-wise gradient aggregation. 項次勾配アグリゲーションを持つ微分プライベート変分オートエンコーダ 0.63
CoRR, abs/2006.11204, 2020. CoRR, abs/2006.11204, 2020 0.78
[42] Reihaneh Torkzadehmahani, Peter Kairouz, and Benedict Paten. He42] Reihaneh Torkzadehmahani, Peter Kairouz, Benedict Paten 0.61
Dp-cgan: Differentially private synthetic data and label generation. Dp-cgan: 異なるプライベートな合成データとラベル生成。 0.76
In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2019. 2019年6月、IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshopsで発表された。 0.77
[43] Yu-Xiang Wang, Borja Balle, and Shiva Prasad Kasiviswanathan. [43]Yu-Xiang Wang, Borja Balle, Shiva Prasad Kasiviswanathan。 0.80
Subsampled renyi differential privacy and analytical moments accountant. renyi差分プライバシーと分析モーメント会計士を例に挙げる。 0.59
In Kamalika Chaudhuri and Masashi Sugiyama, editors, Proceedings of Machine Learning Research, volume 89 of Proceedings of Machine Learning Research, pages 1226–1235. Kamalika Chaudhuri と Sugiyama Masashi, editors, Proceedings of Machine Learning Research, Volume 89 of Proceedings of Machine Learning Research, page 1226–1235。 0.82
PMLR, April 2019. 2019年4月、PMLR。 0.65
[44] David Williams. デイヴィッド・ウィリアムズ(David Williams)。 0.64
Probability with martingales. Martingales の確率。 0.49
Cambridge University Press, 1991. ケンブリッジ大学出版局、1991年。 0.65
[45] Han Xiao, Kashif Rasul, and Roland Vollgraf. [45]Han Xiao、Kashif Rasul、Roland Vollgraf。 0.61
Fashion-mnist: a novel image dataset for fashion-mnist: 新しい画像データセット 0.78
benchmarking machine learning algorithms. 機械学習アルゴリズムのベンチマーク 0.76
arXiv preprint arXiv:1708.07747, 2017. arXiv preprint arXiv:1708.07747, 2017 0.79
[46] Yonghui Xiao, Li Xiong, and Chun Yuan. [46]ヨンウイ・シャオ、李Xiong、チュン・ユアン。 0.49
Differentially private data release through multidimensional partitioning. 多次元パーティショニングによる異なるプライベートデータリリース。 0.74
In Willem Jonker and Milan Petkovi´c, editors, Secure Data Management, pages 150–168, Berlin, Heidelberg, 2010. Willem Jonker and Milan Petkovi ́c, editors, Secure Data Management, page 150–168, Berlin, Heidelberg, 2010 0.87
Springer Berlin Heidelberg. ベルリン・ハイデルベルク出身。 0.62
[47] Liyang Xie, Kaixiang Lin, Shu Wang, Fei Wang, and Jiayu Zhou. [47]梁陽、海西林、周王、フェイ王、周慈有。 0.51
Differentially private 極端にプライベートな 0.44
generative adversarial network. 生成的敵ネットワーク。 0.75
CoRR, abs/1802.06739, 2018. CoRR, abs/1802.06739, 2018。 0.68
[48] Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, and Kalyan Veeramachaneni. [48]Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni 0.73
Modeling tabular data using conditional gan. 条件付きganを用いた表データモデリング 0.73
In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 32. H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, R. Garnett, editors, Advances in Neural Information Processing Systems, Volume 32。 0.95
Curran Associates, Inc., 2019. Curran Associates, Inc., 2019 0.71
[49] Jinsung Yoon, James Jordon, and Mihaela van der Schaar. [49]ジンスンヨン、ジェームズ・ホルドン、ミハイラ・ヴァン・デル・シャール 0.48
PATE-GAN: Generating synthetic data with differential privacy guarantees. PATE-GAN: 差分プライバシー保証付き合成データを生成する。 0.72
In International Conference on Learning Representations, 2019. International Conference on Learning Representations, 2019に参加。 0.86
[50] Jun Zhang, Graham Cormode, Cecilia M Procopiuc, Divesh Srivastava, and Xiaokui Xiao. [50]Jun Zhang, Graham Cormode, Cecilia M Procopiuc, Divesh Srivastava, Xiaokui Xiao. 0.79
Privbayes: Private data release via bayesian networks. Privbayes: ベイジアンネットワーク経由でのプライベートデータリリース。 0.87
ACM Transactions on Database Systems (TODS), 42(4):1–41, 2017. ACM Transactions on Database Systems (TODS), 42(4):1-41, 2017 0.85
12 12 0.85
英語(論文から抽出)日本語訳スコア
[51] T. Zhu, G. Li, W. Zhou, and P. S. Yu. [51]T.Zhu、G.Li、W.Zhou、P.S.Yu。 0.63
Differentially private data publishing and analysis: A survey. 異なるプライベートなデータパブリッシングと分析: 調査。 0.72
IEEE Transactions on Knowledge and Data Engineering, 29(8):1619–1638, August 2017. IEEE Transactions on Knowledge and Data Engineering, 29(8):1619–1638, August 2017 0.89
13 13 0.85
英語(論文から抽出)日本語訳スコア
Supplementary Material A Related Works IPM-GANs. 補足材料 関連作品 IPM-GAN 0.64
Our approach is partially inspired by our observations in a class of GANs which is based on the integral probability metric (IPM). 我々のアプローチは、積分確率計量(ipm)に基づくganのクラスにおける観測に部分的にインスパイアされている。 0.83
Generally speaking, the training objective of the IPM-GAN generator is minimizing a distance metric measuring the difference between the data distribution (Pr) and generated data distribution (Qθ) which has the following form: 一般的に、IMM-GANジェネレータの訓練目的は、データ分布(Pr)と生成されたデータ分布(Qθ)との差を測定する距離測定を最小化することである。 0.83
|Ex∼Pr [f (x)] − Ex∼Qθ [f (x)]|, x ] − Ex θ [f (x)]| である。 0.50
d(Pr, Qθ) = sup f∈F d(Pr, Qθ) = sup f~F 0.84
(12) where F is a set of bounded functions acting as a critic telling apart synthetic samples from real samples. (12) ここで、f は実サンプルから合成サンプルを分解する評論家として働く有界関数の集合である。 0.78
Wasserstein GAN [3], Cramer GAN [5], McGAN [34], Fisher GAN [33], and MMD-GAN [26, 6] are some of the variations of IPM-GANs found in the literature. Wasserstein GAN [3], Cramer GAN [5], McGAN [34], Fisher GAN [33], MMD-GAN [26, 6]は文献中のIPM-GANの変異である。 0.70
More recently, IPM-GANs utilizing CFs have also been explored [2, 27]. 近年,CFを用いたIMM-GANも検討されている [2, 27]。 0.66
One distinctive difference of our approach compared to IPM-GANs is the lack of a critic that interacts with data directly in our architecture. 私たちのアプローチとipm-gansとの違いは、アーキテクチャ内で直接データとやり取りする批判者がいないことです。 0.67
This is because training a critic in the IPM-GAN framework would unfavorably reduce the privacy level at each iteration, whereas we seek an approach that is free of such constraint in this paper. これは、IPM-GANフレームワークの批判者のトレーニングが各イテレーションのプライバシレベルを好ましくないほど低下させるのに対して、本稿ではそのような制約のないアプローチを模索しているためである。 0.57
An interesting direction of future work is implementing the critic and seeking a privacy-utility trade-off sweet spot with privacy budget allocated optimally between training the critic and sanitizing the CF under DP. 今後の作業の興味深い方向性は、批判者の実装と、批判者のトレーニングとDP下のCFの衛生化の間に最適なプライバシー予算を割り当てたプライバシー利用トレードオフスイートスポットの追求である。 0.57
Data Synthesis with DP. DPを用いたデータ合成 0.84
A significant portion of studies in the literature has been focusing on computing the output of certain algorithm or query (count, mean) under DP [32, 46, 19, 51]. 本研究の大部分は,DP[32,46,19,51]の下で,特定のアルゴリズムやクエリ(数,平均)の出力の計算に重点を置いている。 0.75
They are of little relevance to the current work which takes the data synthesis approach. これらは、データ合成アプローチをとる現在の作業とはほとんど関係がない。 0.78
Traditional methods of synthesizing data are mainly concerned with discrete data or data preprocessed to the discrete form [50, 38, 8], whereas we are interested in more general methods involving continuous data. 従来のデータ合成法は主に離散形式 [50, 38, 8] に前処理された離散データまたはデータに関するものであるが、我々は連続データを含むより一般的な方法に関心を持っている。 0.78
Deep generative models under the DP setting have garnered attention recently [41, 40, 47, 42, 15, 49, 7, 18]. DP設定下での深部生成モデルは近年注目を集めている[41, 40, 47, 42, 15, 49, 7, 18]。 0.79
For VAEs, the training of both the encoder and the decoder must be privatized as they interact with the data directly. VAEでは、エンコーダとデコーダの両方のトレーニングは、データと直接対話する際に民営化されなければならない。 0.67
In the GAN framework, while one can train the generator non-privately as the generator does not have access to the data, the discriminator interacting directly with the data must be trained privately. GANフレームワークでは、ジェネレータがデータにアクセスできないため、非プライベートにジェネレータをトレーニングできるが、データと直接対話する識別器はプライベートにトレーニングされなければならない。 0.66
The private training of deep generative models is usually performed using DP-SGD. 深層生成モデルのプライベートトレーニングは通常、DP-SGDを用いて行われる。 0.69
One exception is the PATE-GAN [49], which is based on the Private Aggregation of Teacher Ensembles (PATE) [35]. 例外として PATE-GAN [49] があり、これはPATE (Private Aggregation of Teacher Ensembles) [35] に基づいている。 0.81
In DP-MERF [18], random features used to approximate the maximum mean discrepancy (MMD) objective are privatized and utilized for training a generator. DP-MERF[18]では、最大平均誤差(MMD)目標を近似するランダムな特徴を民営化し、発電機の訓練に利用する。 0.71
PEARL, which, as a realization, uses CFs, may be viewed as a generalization of DP-MERF. PEARLはCFを用いており、DP-MERFの一般化と見なすことができる。 0.58
Additionally, PEARL has several distinctive features which are lacking in DP-MERF. 加えて、PEARLにはDP-MERFに欠けているいくつかの特徴がある。 0.52
The first lies in the introduction of a privacy-preserving critic, which leads to an improvement of performance. ひとつは、プライバシ保護批評家の導入であり、パフォーマンスの向上につながっている。 0.65
The second is the private selection of the parameter of the sampling distribution, which is also shown to be vital. 2つ目はサンプリング分布のパラメータのプライベート選択であり、これも不可欠であることが示されている。 0.77
Moreover, DP-MERF uses non-characteristic kernels when treating tabular data, in contrast to ours, which is characteristic and has guarantees in convergence. さらに、dp-merf は表データを扱う際に非特性カーネルを用いるが、これは我々の特徴であり収束の保証がある。 0.63
B Additional Definitions and Previous Results Definition 5 (Rényi differential privacy). b 追加定義と以前の結果定義 5 (renyi differential privacy)。 0.73
A randomized mechanism M is said to satisfy ε-Rényi differential privacy of order λ, when Dλ(M(d)(cid:107)M(d(ci d:48))) = ランダム化機構 M は、Dλ(M(d)(cid:107)M(d(ci d:48))) = ε-レニー微分プライバシーを満たすと言われる。 0.78
(cid:34)(cid:18) P r[M(d) = x] (cid:34)(cid:18)P r[M(d) = x] 0.95
(cid:19)λ−1(cid:35) (cid:19)λ−1(cid:35) 0.67
log Ex∼M(d) log (複数形 logs) 0.60
≤ ε P r[M(d(cid:48)) = x] ≤ ε P r[M(d(cid:48)) = x] 0.91
1 λ − 1 is satisfied for any adjacent datasets d and d(cid:48). 1 λ − 1 隣接するデータセット d と d に対して満足する(cid:48)。 0.81
Here, Dλ(P(cid:107)Q) = 1 the Rényi divergence. ここで dλ(p(cid:107)q) = 1 は rényi の発散である。 0.69
Furthermore, a ε-RDP mechanism of order λ is also (ε + log 1/δ さらに、位数λのε-RDP機構も (ε + log 1/δ) である。 0.73
λ−1 log Ex∼Q[(P (x)/Q(x))λ] is λ−1 log ExiQ[(P(x)/Q(x))λ] は 0.92
λ−1 , δ)-DP. λ−1,δ)-DP。 0.75
Next, we note that the Gaussian mechanism is (λ, λ∆2f 2 2σ2 )-RDP [30]. 次に、ガウスの機構は (λ, λ, 2σ2 )-RDP[30] である。 0.72
The particular advantage of using RDP is that it gives a convenient way of tracking the privacy costs when a sequence of mechanisms is applied. RDPを使うことの特に利点は、一連のメカニズムを適用する際にプライバシーコストを追跡する便利な方法を提供することである。 0.85
More precisely, the following theorem holds [30]: より正確には、次の定理は [30] である。 0.66
14 14 0.85
英語(論文から抽出)日本語訳スコア
err 翻訳エラー 0.00
英語(論文から抽出)日本語訳スコア
C.2 Proof of Thm. C.2thmの証明。 0.61
3 We denote xn ∼ Pn and x ∼ P, and ω∗ the maximal function of ω. 3 は xn = Pn かつ xn = Pn であり、ω∗ は ω の極大函数である。 0.70
Notice that C2 ω∗ (Pn, P) = Et∼ω∗(t) = Et∼ω∗(t) (a)≤ 2 Et∼ω∗(t) (b)≤ 2 Et∼ω∗(t) Exn,x (c)≤ 2 Et∼ω∗(t) [|t|] Exn,x [|xn − x|] . 注意しろ C2 ω∗ (Pn, P) = Et ω∗(t) = Et ω∗(t) (a)≤ 2 Et ω∗(t) (b)≤ 2 Et ω∗(t) Exn,x (c)≤ 2 Et ω∗(t) [|t|] Exn,x [|xn − x|] である。 0.69
(cid:2)eit·x(cid:3)(cid:12)(cid :12)2(cid:105) (cid:104)(cid:12)(ci d:12)Exn (cid:2)eit·xn(cid:3) − Ex (cid:2)eit·x(cid:3)(cid:12)(cid :12) ·(cid:12)(cid:12)Exn (cid:2)(cid:12)(cid: 12)Exn (cid:2)eit·xn(cid:3) − Ex (cid:2)(cid:12)(cid: 12)Exn (cid:2)eit·x(cid:3)(cid:12)(cid :12)(cid:3) (cid:2)eit·xn(cid:3) − Ex (cid:2)(cid:12)(cid: 12)eit·xn − eit·x(cid:12)(cid:12)(ci d:3) (cid:2)eit·x(cid:3) (cid:12)(cid:12)(cid :12)Exn (cid:12)(cid:12)Exn (cid:2)eit·xn(cid:3) − Ex (cid:2)eit·x(cid:3) (cid:12)(cid:12)Exn (cid:12)(cid:12)(cid :12)Exn (cid:12)(cid:12)Exn (cid:2)eit·xn(cid:3) − Ex (cid:12)(cid:12)Exn (cid:2)eit·x(cid:3)(cid:12)(cid :12)(cid:12)(cid:3) 0.92
(cid:2)eit·xn(cid:3) − Ex (cid:2)eit·xn(cid:3) − Ex 0.74
(cid:2)eit·x(cid:3)(cid:12)(cid :12)(cid:3) (cid:2)eit·x(cid:3)(cid:12)(cid :12)(cid:3) 0.69
(17) Here, (a) uses |Aeiα − Beiβ| ≤ |A| + |B| as argued above Eq 14; (b) uses Jensen inequality; (c) uses the argument |eia − eib| = 2 sin(|a − b|/2) ≤ |a − b|, given above Eq 15. 17) ここで (a) 上述したように |Aeiα − Beiβ| ≤ |A| + |B| を用いる; (b) ジェンセンの不等式を使用する; (c) 上述の |eia − eib| = 2 sin(|a − b|/2) ≤ |a − b| を用いる。 0.75
Then, by weak D−→ P, hence proving the convergence equivalence [24], the RHS of Eq 17 approaches zero as Pn theorem. すると、弱 D−→ P により収束同値性 [24] が証明され、Eq 17 の RHS は Pn の定理として 0 に近づく。 0.74
(cid:3) C.3 Proof of Lemma. (cid:3) c.3 補題の証明。 0.68
1 Recall that for any two distributions, ω(t), ω0(t) and any function f (t), 1 任意の 2 つの分布 ω(t), ω0(t) および任意の函数 f(t) について思い出す。 0.85
(cid:90) (cid:90) (cid:90)(cid:90) 0.74
Eω[f (t)] = Eω[f (t)] = 0.85
= f (t)ω(t)dt = f(t)ω(t)dt 0.84
f (t) f (複数形 fs) 0.68
ω0(t)dt ω(t) ω0(t) ω(t) ω0(t) ω0(t)dt ω(t) ω0(t) ω(t) ω0(t) 0.97
]. = Eω0[f (t) ]. = eω0[f(t) 0.73
Hence, Eω(t)[f (t)] = Eω0[f (t) ω(t) したがって、eω(t)[f(t)] = eω0[f(t) ω(t) である。 0.91
clear that(cid:98)Eω[f (t)] → Eω[f (t)] implies(cid:98)Eω0[f (t) ω∗(t) cid:98)eω[f (t)] → eω[f (t)] は(cid:98)eω0[f (t) ω∗(t) を意味する。 0.89
ω0(t) ] → Eω∗ [f (t)], as desired. ω0(t) ] → Eω∗ [f (t)] を所望とする。 0.90
(cid:3) D Experimental Setup of Two-sample Testing on Synthetic Data (cid:3)合成データを用いた2サンプル試験の試作 0.82
ω0(t) ]. Let ω∗ be the maximal probability distribution. ω0(t) ]。 ω∗ を最大確率分布とする。 0.77
It is then Let us describe in more detail the experiment presented in Sec. その時です Sec.NETで発表された実験について詳しく説明しましょう。 0.57
4.2. Data are generated from two unit-variance multivariate Gaussian distributions P, Q, where all dimensions but one have zero mean (P ∼ N (0d, Id), Q ∼ N ((1, 0, . 4.2. データは2つの単位分散多変量ガウス分布 P, Q から生成される。
訳抜け防止モード: 4.2. データは2つの単位-分散多変量ガウス分布P,から生成される。 Q はすべての次元と 1 の平均が 0 である場合(P , N ( 0d, I d ))。 Q は N ( 1 , 0 , )。
0.71
. . , 0)(cid:62), Id)). . . , 0)(cid:62), id) である。 0.86
We wish to conduct a two-sample test using the CF to distinguish between the two distributions, which gets more difficult as the dimensionality increases. 2つの分布を区別するためにcfを用いた2つのサンプルテストを行いたいと思います。
訳抜け防止モード: CFを用いた2つのサンプルテストを実行したい。 2つの分布を区別することは 次元が大きくなるにつれて難しくなります
0.74
We test if the null hypothesis where the samples are drawn from the same distribution is rejected. サンプルが同じ分布から引き出されるヌル仮説が拒否されるかどうかをテストする。 0.81
Three sets of frequencies are considered. 3種類の周波数が考慮される。 0.70
The number of frequncies in each set is set to 20. 各集合のfrequnciesの数は20に設定される。 0.79
The first set is an “unoptimized” set of frequencies. 最初のセットは"最適化されていない"周波数セットである。 0.58
The first dimension of all but one frequency has the value of zero. 1つの周波数を除く全ての最初の次元は 0 の値を持つ。 0.71
Other dimensions have values generated randomly from a zero-mean unitvariance multivariate Gaussian distribution. 他の次元はゼロ平均単位分散多変量ガウス分布からランダムに生成される値を持つ。 0.64
We denote the frequency with non-zero value in the first dimension by t0 without loss of generality. 一般性を失うことなくt0で1次元の非ゼロ値の周波数を表す。 0.75
A “normal” set of frequencies is also considered for comparison, where the frequencies of all dimensions are sampled randomly from a multivariate Gaussian distributions. 比較のために、すべての次元の周波数を多変量ガウス分布からランダムにサンプリングする「通常の」周波数集合も考慮される。 0.83
Finally, we consider an “optimized” set of frequencies, where from the “unoptimized” set of frequencies, only t0 is selected to be used for two-sample testing. 最後に、「最適化されていない」周波数セットから、t0のみが2サンプルテストに使用される「最適化」周波数セットを考える。 0.76
In other words, we re-weight the set of frequencies such that all but t0 has zero weight. 言い換えれば、t0を除くすべての周波数がゼロとなるような周波数の集合を再重み付けする。 0.59
1,000 samples are generated from each of P and Q. PとQのそれぞれから1,000のサンプルが生成される。 0.69
We repeat the problem for 100 trials to obtain the rejection rate (and repeat the whole experiment 5 times to get the error bar). 100回の試行で問題を繰り返すと、拒否率を得る(そして、エラーバーを得るために実験全体を5回繰り返す)。 0.77
E More on DP Release of Auxiliary Information E More on DP Release of Auxiliary Information 0.85
Several examples of auxiliary information are given. 補助情報のいくつかの例が与えられる。 0.68
The first is the modelling of tabular data. 1つは表データのモデリングである。 0.71
Continuous columns of tabular data can consist of multiple modes which may better be modelled 表形式のデータの連続列は複数のモードから構成されることができ、よりうまくモデル化できる。 0.61
16 16 0.85
英語(論文から抽出)日本語訳スコア
using Gaussian mixture models (GMMs) [48]. ガウス混合モデル(GMM) [48] を使います。 0.81
GMMs are trainable under DP using a DP version of the expectation-maximiza tion algorithm [36]. GMMは、期待最大化アルゴリズムのDPバージョン[36]を用いてDP下で訓練可能である。 0.60
Instead of using the continuous value as input to Gθ, one can assign it to a GMM cluster it belongs to and use this as the input. gθ への入力として連続値を使用する代わりに、それが属する gmm クラスタに割り当て、これを入力として使用することができる。 0.75
The second example deals with class imbalance. 2つ目の例はクラス不均衡を扱う。 0.66
Note from the first part of Eq 9 where the sum is over the number of instances in a certain class yi. 和が特定のクラス yi のインスタンス数を超える eq 9 の最初の部分から注意してください。 0.63
This means that minority classes may not be optimized appropriately when the generator is trained with respect to Eq 10. これは、eq 10に関してジェネレータがトレーニングされたとき、マイノリティクラスが適切に最適化されないことを意味する。 0.56
One can consider releasing the count of each class in a DP manner [18] and re-weight the conditional CF by its class count. DP方式[18]で各クラスのカウントを解放し、そのクラスカウントによって条件CFを再重み付けすることを考えることができる。 0.74
Note that such re-weighting is also potentially helpful in resolving the issues of unfairness (disparate accuracies in imbalanced classes) occurred when using DP-SGD [4]. このような再重み付けは,dp-sgd [4] 使用時に生じた不公平性(不均衡クラスにおける不一致)の解消にも有用である。 0.63
We leave the detailed study to future work. 私たちはその詳細な研究を将来の仕事に任せる。 0.61
Another example is the estimate of the mean of pairwise distance, where the detailed discussion is available in Supplementary Sec. 別の例として、ペア距離の平均の推定があり、詳細な議論はSupplementary Secで見ることができる。 0.68
F. F DP Estimate of the Mean of Pairwise Distance f. F DPによるペアワイズ距離の推定 0.76
Median heuristic is applied widely in kernel methods applications to determine the bandwidth of the radial basis function (RBF) kernels [16]. メディアヒューリスティックは、放射基底関数(RBF)カーネルの帯域幅を決定するためにカーネルメソッドアプリケーションに広く応用されている [16]。 0.82
The bandwidth is taken to be the median of all pairwise distances of data samples. 帯域幅は、データサンプルのすべてのペアワイズ距離の中央値とみなす。 0.75
Here we give a DP estimation of the mean instead as the calculation of mean is more tractable. ここでは、平均の計算がよりトラクタブルであるため、平均のDP推定を行う。 0.66
Let x be samples of a certain data distribution of dimension d and assume that the values lie in [0, 1]d. Given n samples, there is a total of n(n − 1)/2 pairwise distance pairs. x を次元 d のあるデータ分布のサンプルとし、値が [0, 1]d にあると仮定する。
訳抜け防止モード: x を次元 d のあるデータ分布のサンプルとする。 値が[0, 1]dにあると仮定する。 n 個のサンプルが与えられたとき、合計 n(n − 1)/2 個のペア距離対が存在する。
0.85
Then, the mean of the pairwise distance of samples is すると、サンプルの対距離の平均は、 0.65
Dn(x) = 2 n(n − 1) Dn(x) = 2 n(n − 1) 0.85
(cid:107)xi − xj(cid:107)2. (cid:107)xi − xj(cid:107)2。 0.84
n(cid:88) i(cid:54)=j n(cid:88) i(cid:54)=j 0.81
where (cid:107) · (cid:107)2 indicates the Euclidean norm. ここで (cid:107) · (cid:107)2 はユークリッドノルムを表す。 0.67
Consider a pair of neighboring datasets, D,D(cid:48). 隣接するデータセットのペアD,D(cid:48)を考える。 0.79
Without loss of generality, let xn (cid:54)= x(cid:48) for i (cid:54)= n. Then, the sensitivity of Dn(x) is 一般性を失うことなく、i (cid:54) = n に対して xn (cid:54)= x(cid:48) とする。
訳抜け防止モード: 一般性を失うことなく、xn ( cid:54)= x(cid:48 ) for i ( cid:54)= n とする。 dn(x) の感度は
0.86
n and xi = x(cid:48) n と xi = x(cid:48) 0.94
i n(cid:88) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) n−1(cid:88) 私は n(cid:88) (cid:13)(cid:13)(cid :13)(cid:13)n−1(cid:88) 0.67
i(cid:54)=j i(cid:54)=j 0.78
2 (cid:107)xi − xj(cid:107)2 − 2 (cid:107)xi − xj(cid:107)2 − 0.87
(cid:107)xi − xn(cid:107)2 − n−1(cid:88) (cid:107)xi − xn(cid:107)2 − n−1(cid:88) 0.78
n(n − 1) (cid:107)xi − x(cid:48) n(n − 1) (cid:107)xi − x(cid:48) 0.85
n(cid:107)2 n(cid:107)2 0.88
(cid:107)x(cid:48) (cid:107)x(cid:48) 0.78
i − x(cid:48) i − x(cid:48) 0.92
j(cid:107)2 j(cid:107)2 0.88
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)2 0.82
maxD,D(cid:48) √ · (n − 1) maxD,D(cid:48) ^ · (n − 1) 0.96
i=1 i=1 d n(cid:88) i=1 i=1 d n(cid:88) 0.72
i(cid:54)=j i(cid:54)=j 0.78
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)2 (cid:13)(cid:13)(cid :13)(cid:13)2 0.91
∆Dn(x) = maxD,D(cid:48) Dn(x) = maxD, D(cid:48) 0.82
2 n(n − 1) 2 n(n − 1) 0.85
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) (cid:13)(cid:13)(cid :13)(cid:13) 0.91
(a) = (b) = (a) = (b) = 0.85
= 2 n(n − 1) = 2 n(n − 1) 0.85
n(n − 1) √ 2 n(n − 1) は 2 である。 0.78
d 2 . n √ In (a), we cancel out all terms unrelated to xn or x(cid:48) and (cid:107)xi − x(cid:48) mechanism as in Eq 6 to obtain the DP estimate of the mean of the pairwise distance of samples. d 2 . ん? a) では、Eq 6 のような xn または x(cid:48) と (cid:107)xi − x(cid:48) のメカニズムに関係のない全ての項をキャンセルし、サンプルの対距離の平均のDP推定値を得る。 0.74
n. In (b), we use the fact that (cid:107)xi − xn(cid:107)2 d]. n. (b) では、 (cid:107)xi − xn(cid:107)2 d] という事実を用いる。 0.84
After obtaining the sensitivity, one can then applies the Gaussian 感度を得た後、ガウスを適用できる 0.56
n(cid:107)2 lie in [0, n(cid:107)2 は [0, 0.76
G Training Algorithm G トレーニングアルゴリズム 0.78
The pseudo-code of the proposed training algorithm is given in Algorithm 1. 提案する訓練アルゴリズムの擬似コードはアルゴリズム1で与えられる。 0.78
H Evaluation Metrics We utilize evaluation metrics commonly used to evaluate GAN’s performance, namely Fréchet Inception Distance (FID) [21] and Kernel Inception Distance (KID) [6]. H評価基準 我々は,ganの性能評価に一般的に用いられる評価指標,すなわちfréchet inception distance (fid) [21] と kernel inception distance (kid) [6] を用いる。 0.75
FID corresponds to computing the Fréchet distance between the Gaussian fits of the Inception features obtained from real and fake distributions. FIDは、実数分布と偽数分布から得られるインセプション特徴のガウスフィット間のフレシェ距離を計算することに対応する。 0.74
KID is the calculation of the MMD of the Inception features between real and fake distributions using a polynomial kernel of degree 3. KIDは、次数3の多項式カーネルを用いた実分布と偽分布の間のインセプション特徴のMDDの計算である。 0.72
17 17 0.85
英語(論文から抽出)日本語訳スコア
Algorithm 1: PEARL Training Input: Sensitive data {x}n アルゴリズム1:PEARLトレーニング入力:知覚データ {x}n 0.70
i=1, differential privacy noise scale σDP, number of frequencies k, i=1,差分プライバシー雑音尺度σDP,周波数数k, 0.85
base sampling distribution variance σ0, training iterations T , learning rates ηC and ηG, number of generator iterations per critic iteration ngen, batch size B, latent distribution Pz ベースサンプリング分布分散σ0、トレーニングイテレーションT、学習率ηC、ηG、批判イテレーションngen当たりのジェネレータイテレーション数、バッチサイズB、潜時分布Pz 0.66
Output: Differentially private generator Gθ 1 Obtain auxiliary information (e g , base sampling distribution variance σ0); 2 Sample frequencies {t}k 3 for i in {1, ..., k} do 4 出力:微分プライベートジェネレータgθ1は補助情報(例えば、ベースサンプリング分布分散 σ0); 2つのサンプル周波数 {t}k 3 for i in {1, ..., k} do 4 を得る。 0.84
i=1 with t ∼ N (0, diag(σ0)); i=1 で t を n (0, diag(σ0)) とする。 0.76
5 (cid:80)n (cid:98)ΦP(ti) = 1 (cid:98)ΦP(ti) ← 1√ k(cid:98)ΦP(ti) j=1 eiti·xj (cid:101)ΦP(ti) =(cid:98)ΦP(ti) + N (0, ∆2(cid:98)φ(x) 9 (cid:101)φ(x) ← ((cid:101)ΦP(t1), . 5 (cid:80)n (cid:98)シュP(ti) = 1 (cid:98)シュP(ti) シュ 1 = k(cid:98)シュP(ti) j=1 eiti·xj (cid:101)シュP(ti) =(cid:98)シュP(ti) + N (0, シュ2(cid:98)φ(x) 9 (cid:101)φ(x) シュ ((cid:101)シュP(t1) である。 0.79
. . ,(cid:101)ΦP(tk))(cid:62) . . ,(cid:101)>P(tk))(cid:62) 0.85
6 7 end 8 Accumulate privacy cost ; 6 7 end 8 accumulate privacy cost (英語) 0.72
n σ2 DPI) 10 Initialize generator Gθ, sampling distribution variance σ ; 11 for step in {1, ..., T} do 12 13 14 15 n σ2 DPI) 10 ジェネレータ gθ を初期化し、サンプリング分布分散 σ ; 11 for step in {1, ..., t} do 12 13 14 15 0.88
for t in {1, ..., ngen} do Sample batch {zi}B for i in {1, ..., k} do for t in {1, ..., ngen} do Sample batch {zi}B for i in {1, ..., k} do 0.79
B end i=1 with zi ∼ Pz; (cid:80)B (cid:98)ΦQ(ti) = 1 k(cid:98)ΦQ(ti) (cid:98)ΦQ(ti) ← 1√ j=1 eiti·Gθ(zj ) (cid:98)φ(z) ← ((cid:98)ΦQ(t1), . B 終わり i=1 with zi > Pz; (cid:80)B (cid:98)シュQ(ti) = 1 k(cid:98)シュQ(ti) (cid:98)シュQ(ti) (cid:98)シュQ(ti) ? 0.74
. . ,(cid:98)ΦQ(tk))(cid:62) ((cid:101)φ(x),(cid:98)φ(z)) θ ← θ − ηG · ∇θ(cid:99)Cω i=1 with zi ∼ Pz; (cid:80)B (cid:98)ΦQ(ti) = 1 k(cid:98)ΦQ(ti) (cid:98)ΦQ(ti) ← 1√ j=1 eiti·Gθ(zj ) (cid:98)φ(z) ← ((cid:98)ΦQ(t1), . . . , (cid:98) φq(tk))(cid:62) ((cid:101) φ(x), (cid:98) φ(z)) θ {\displaystyle (cid:99)cω i=1 with zi pz; (cid:80)b (cid:98) φq(ti) = 1 k(cid:98) φq(ti) (cid:98) φq(ti) }\ 1\ j=1 eiti·gθ(zj) (cid:98)φ(z) }\ (((cid:98)φq(t1) である。
訳抜け防止モード: . . tk))(cid:62 ) ( (cid:101)φ(x), (cid:98)φ(z ) ) θ > θ − ηG · >θ(cid:99)Cω i=1 である。 (cid:80)B (cid:98)-Q(ti ) = 1 k(cid:98)-Q(ti ) (cid:98)-Q(ti ) (cid:98)-Eiti·Gθ(zj ) (cid:98)-φ(z ) ((cid:98)-Q(t1 )。
0.87
. . ,(cid:98)ΦQ(tk))(cid:62) ((cid:101)φ(x),(cid:98)φ(z)) σ ← σ + ηC · ∇σ(cid:99)Cω . . ,(cid:98) = Q(tk))(cid:62) ((cid:101)φ(x),(cid:98)φ(z)) σ = σ + ηC · σ(cid:99)Cω 0.87
end Sample batch {zi}B for i in {1, ..., k} do end Sample batch {zi}B for i in {1, ..., k} do 0.81
end B 2 2 16 終わり B 2 2 16 0.83
17 18 19 20 21 22 23 17 18 19 20 21 22 23 0.85
24 25 26 27 28 end 29 Return Gθ 24 25 26 27 28 end 29 return Gθ 0.88
The precision definitions are as follows. 正確な定義は以下の通りである。 0.70
Let {xr and {xθ extracted from a pre-trained network (LeNet in our case) are {zr The FID and KID are defined as xr と {xθ を事前訓練されたネットワークから抽出し(私たちの場合、lenet) {zr とし、fid と kid を定義させる。
訳抜け防止モード: 事前訓練されたネットワーク(我々の場合はLeNet)から抽出した { xr と { xθ を { zr The FID とする。 そして KID は
0.76
i}m i=1 be samples from the generated data distribution Q i}m i=1 は生成されたデータ分布 q のサンプルである 0.74
i}n i=1 be samples from the real data distribution Pr θ. i}n i=1 は実データ分布 pr θ のサンプルである。 0.88
The corresponding feature vectors i}m i=1 respectively. 対応する特徴ベクトル i}m i=1 はそれぞれ。 0.83
i}n i=1 and {zθ i}n i=1 と {zθ 0.85
FID(Pr, Qθ) =(cid:107)µr − µθ(cid:107)2 KID(Pr, Qθ) = FID(Pr, Qθ) =(cid:107)μr − μθ(cid:107)2 KID(Pr, Qθ) = 0.89
1 n(n − 1) 1 n(n − 1) 0.85
i=1 i , zr i=1 i , zr 0.72
j=1,j(cid:54)=i j=1,j(cid:54)=i 0.72
n(cid:88) n(cid:88) (cid:2)κ(zr j )(cid:3) 2 + Tr(Σr + Σθ − 2(ΣrΣθ)1/2), m(cid:88) m(cid:88) (cid:2)κ(zθ m(cid:88) (cid:2)κ(zr j )(cid:3) , n(cid:88) n(cid:88) (cid:2)κ(zr j )(cid:3) 2 + Tr(Σr + Σθ − 2(ΣrΣθ)1/2), m(cid:88) m(cid:88) (cid:2)κ(zθ m(cid:88) (cid:2)κ(zr j )(cid:3) 0.84
j )(cid:3) j=1,j(cid:54)=i j (cid:3) j=1,j(cid:54)=i 0.81
i , zθ i , zθ i , zθ i , zθ 0.94
i=1 1 n(cid:88) i=1 1 n(cid:88) 0.76
+ m(m − 1) + m(m − 1) 0.85
− 2 mn − 2 mn である。 0.62
i=1 j=1 18 i=1 j=1 18 0.68
(18) (19) (18) (19) 0.85
英語(論文から抽出)日本語訳スコア
where (µr, Σr) and (µθ, Σθ) are the sample mean & covariance matrix of the inception features of the real and generated data distributions, and κ is a polynomial kernel of degree 3: ここで (μr, Σr) と (μθ, Σθ) は実および生成されたデータ分布の開始特性のサンプル平均と共分散行列であり、κ は次数3の多項式核である。 0.85
(cid:18) 1 d (cid:18)1 d 0.82
(cid:19)3 κ(x, y) = (cid:19)3 κ(x, y) = 0.85
x · y + 1 , x · y + 1 , 0.85
(20) where d is the dimensionality of the feature vectors. (20) ここで d は特徴ベクトルの次元である。 0.82
We compute FID with 10 bootstrap resamplings and KID by sampling 100 elements without replacement from the whole generated dataset. 10個のブートストラップ再サンプリングとKIDでFIDを計算し、100個の要素を生成データセット全体から置き換えることなくサンプリングする。 0.63
I Implementation Details Datasets. 私 実施内容 データセット。 0.61
For MNIST and Fashion-MNIST, we use the default train subset of the torchvision 6 library for training the generator, and the default subset for evaluation. mnist と fashion-mnist では、torchvision 6 ライブラリのデフォルト列車サブセットをジェネレータのトレーニングに使用し、デフォルトサブセットを評価に使用します。 0.73
For Adult, we follow the preprocessing procedure in [18] to make the dataset more balanced by downsampling the class with the most number of samples. 成人の場合、[18]のプリプロセッシング手順に従い、最も多くのサンプルでクラスをダウンサンプリングすることでデータセットのバランスを良くします。 0.78
Neural networks. ニューラルネットワーク。 0.67
The generator for image datasets has the following network architecture: 画像データセットのジェネレータには以下のアーキテクチャがある。 0.73
• fc → bn → fc → bn → upsamp → relu → upconv → sigmoid, • fc → bn → bn → bn → upsamp → relu → upconv → sigmoid である。 0.89
where fc, bn, upsamp, relu, upconv, sigmoid refers to fully connected, batch normalization, 2D bilinear upsampling, ReLU, up-convolution, and Sigmoid layers respectively. fc, bn, upsamp, relu, upconv, sigmoid はそれぞれ完全連結, バッチ正規化, 2次元双線型アップサンプリング, relu, up-convolution, sigmoid 層を指す。 0.83
For tabular dataset, we use the following architecture: 表形式のデータセットには、以下のアーキテクチャを使用します。 0.58
• fc → bn → relu → fc → bn → relu → fc → tanh/softmax, • fc → bn → relu → fc → bn → relu → fc → tanh/softmax, 0.94
where tanh and softmax are the Tanh and softmax layers respectively. タンとソフトマックスはそれぞれタンとソフトマックスの層である。 0.63
Network output corresponding to the continuous attribute is passed through the Tanh layer, whereas network output corresponding to the categorical attribute is passed through the softmax layer, where the category with the highest value from the softmax output is set to be the generated value of the categorical attribute. 連続属性に対応するネットワーク出力がtanh層を通過し、一方、カテゴリ属性に対応するネットワーク出力がsoftmax層を通過し、softmax出力から最も高い値を持つカテゴリがカテゴリ属性の生成値に設定される。 0.70
We train both networks with conditional CFs as described in Sec. Sec.jsで説明した条件付きCFで両方のネットワークをトレーニングする。 0.56
3.3. For DP-MERF, we use the same architectures for fair comparisons. 3.3. DP-MERFの場合、同じアーキテクチャを使って公正な比較を行う。 0.68
Hyperparameters. ハイパーパラメータ。 0.66
We use Adam optimizer with learning rates of 0.01 for both the minimization and maximization objectives. 我々は最小化目標と最大化目標の両方に0.01の学習率を持つAdam Optimizationrを使用する。 0.68
Batch size is 100 (1,100) for the image datasets (tabular dataset). バッチサイズは、画像データセット(タブラルデータセット)に対して100 (1,100)である。 0.71
The number of frequencies is set to 1,000 (3,000) for MNIST and Adult (Fashion-MNIST). 周波数はMNISTとアダルト(Fashion-MNIST)の1000(3000)に設定されている。 0.77
The training iterations are 6,000, 3,000, and 8,000 for MNIST, Fashion-MNIST, and Adult respectively. MNISTは6000、MNISTは3000、MNISTは8000、Fashion-MNISTはアダルトは8000である。 0.58
J Additional Results MNIST and Fashion-MNIST. J 追加結果 MNISTとFashion-MNIST。 0.74
Fig 5 and Fig 6 show more enlarged images of MNIST and FashionMNIST at various level of . 図5と図6は、様々なレベルでMNISTとFashionMNISTの画像を拡大している。 0.70
Adult. We show the detailed evaluation results using the synthetic data as training data for various scikit-learn classifiers in Table 3. 大人。 表3における各種シキトラーン分類器の訓練データとして合成データを用いた詳細な評価結果を示す。 0.72
The experiment (training generator, synthesizing data and testing with classifiers) is run 5 times to get the average values and errors. 実験(トレーニングジェネレータ、データ合成、分類器によるテスト)は平均値とエラーを得るために5回実行される。 0.82
We also show more histogram plots for continuous and categorical attributes comparing our method with DP-MERF in Fig 7 and Fig. また,fig7およびfigにおけるdp-merf法との比較により,連続的およびカテゴリー的属性に対するヒストグラムプロットが増加した。 0.54
8. 6https://pytorch.org /vision/stable/index .html 8. 6https://pytorch.org /vision/stable/index .html 0.56
19 19 0.85
英語(論文から抽出)日本語訳スコア
(a)  = ∞ (b)  = 10 (a)=∞ (b) が 10 である。 0.74
(c)  = 1 (d)  = 0.2 (c)=1 (d)→0.2 0.60
Figure 5: Additional generated MNIST images at various . 図5: 様々なシチュエーションで生成したmnistイメージ。 0.73
Real data Ours PRC 0.641 ± 0.015 LR 0.537 ± 0.028 Gaussian NB 0.644 ± 0.009 Bernoulli NB 0.640 ± 0.015 Linear SVM 0.582 ± 0.028 Decision Tree 0.640 ± 0.007 LDA 0.628 ± 0.024 Adaboost 0.601 ± 0.039 Bagging 0.635 ± 0.025 GBM 0.635 ± 0.015 MLP Table 3: Quantitative results for the Adult dataset evaluated at (, δ) = (1, 10−5). 実データ 我々の PRC 0.641 ± 0.015 LR 0.537 ± 0.028 Gaussian NB 0.644 ± 0.009 Bernoulli NB 0.640 ± 0.015 Linear SVM 0.582 ± 0.028 Decision Tree 0.640 ± 0.007 LDA 0.628 ± 0.024 Adaboost 0.601 ± 0.039 Bagging 0.635 ± 0.025 GBM 0.635 ± 0.015 MLP Table 3: ( δ) = (1, 10−5) で評価された成人のデータセットの定量結果。 0.68
ROC 0.752 ± 0.009 0.661 ± 0.036 0.763 ± 0.008 0.752 ± 0.009 0.675 ± 0.03 0.755 ± 0.005 0.709 ± 0.031 0.687 ± 0.041 0.709 ± 0.029 0.744 ± 0.012 ROC 0.752 ± 0.009 0.661 ± 0.036 0.763 ± 0.008 0.752 ± 0.009 0.675 ± 0.03 0.755 ± 0.005 0.709 ± 0.031 0.687 ± 0.041 0.709 ± 0.029 0.744 ± 0.012 0.52
ROC 0.788 0.629 0.769 0.781 0.759 0.782 0.789 0.772 0.800 0.776 ROC 0.788 0.629 0.769 0.781 0.759 0.782 0.789 0.772 0.800 0.776 0.44
PRC 0.681 0.511 0.651 0.671 0.646 0.670 0.682 0.667 0.695 0.660 PRC 0.681 0.511 0.651 0.671 0.646 0.670 0.682 0.667 0.695 0.660 0.44
DP-MERF ROC 0.661 ± 0.059 0.587 ± 0.079 0.588 ± 0.056 0.568 ± 0.091 0.696 ± 0.081 0.634 ± 0.060 0.642 ± 0.097 0.659 ± 0.06 0.706 ± 0.069 0.667 ± 0.088 DP-MERF ROC 0.661 ± 0.059 0.587 ± 0.079 0.588 ± 0.056 0.568 ± 0.091 0.696 ± 0.081 0.634 ± 0.060 0.642 ± 0.097 0.659 ± 0.06 0.706 ± 0.069 0.667 ± 0.088 0.52
PRC 0.542 ± 0.041 0.491 ± 0.06 0.488 ± 0.04 0.489 ± 0.067 0.576 ± 0.063 0.541 ± 0.048 0.546 ± 0.071 0.538 ± 0.042 0.586 ± 0.047 0.558 ± 0.063 PRC 0.542 ± 0.041 0.491 ± 0.06 0.488 ± 0.04 0.489 ± 0.067 0.576 ± 0.063 0.541 ± 0.048 0.546 ± 0.071 0.538 ± 0.042 0.586 ± 0.047 0.558 ± 0.063 0.52
20 20 0.85
英語(論文から抽出)日本語訳スコア
(a)  = ∞ (b)  = 10 (a)=∞ (b) が 10 である。 0.74
(c)  = 1 (d)  = 0.2 (c)=1 (d)→0.2 0.60
Figure 6: Additional generated Fashion-MNIST images at various . 図6: Fashion-MNISTイメージの追加生成。 0.67
21 21 0.85
英語(論文から抽出)日本語訳スコア
(a) Age (b) fnlwgt (a)年齢 (b)fnlwgt 0.80
(c) Capital Gain Figure 7: Histograms of various continuous attributes of Adult dataset comparing real and synthetic data. (c)資本ゲイン 図7:実データと合成データを比較する成人データセットのさまざまな連続属性のヒストグラム。 0.80
22 (d) Capital loss 22 (d)資本損失 0.83
20406080103102DPMERF20406080103102Ou rsrealsynthetic0.000 .250.500.751.001.251 e6108107106105DPMERF0.000.250.500.75 1.001.251e6108107106 105Oursrealsynthetic 02000040000600008000 0100000107106105104D PMERF0200004000060000 80000100000107106105 104Oursrealsynthetic 01000200030004000106 105104103DPMERF0100020003000400 0106105104103Oursrea lsynthetic 20406080103102DP:MER F204060803102Oursrea lsynthetic0.000.250. 500.751.001.251e6108 7106105DP:MERF0.000. 250.751.001.251e6108 7106105Oursrealsynth etic0200004000060000 60000800001000071061 05104DP:MERF02000040 00060000800001000071 06105104Oursrealsynt hetic010002,0004,000 106105104103 0.03
英語(論文から抽出)日本語訳スコア
(a) Education (b) Occupation (a)教育 (b)職業 0.78
(c) Work class (d) Relationship (c)仕事の授業 (d)関係 0.82
(e) Sex sex (複数形 sexs) 0.68
(f) Race Figure 8: Histograms of various categorical attributes of Adult dataset comparing real and synthetic data. (f)レース 図8:実データと合成データを比較する成人データセットの様々なカテゴリー属性のヒストグラム。 0.80
23 0.01.02.03.04.05.06. 07.08.09.010.011.012 .013.014.015.0catego ry101102103104countR ealOursDP-MERF0.01.0 2.03.04.05.06.07.08. 09.010.011.012.013.0 14.0category10210310 4countRealOursDP-MER F0.01.02.03.04.05.06 .07.08.0category1011 02103104countRealOur sDP-MERF0.01.02.03.0 4.05.0category103cou ntRealOursDP-MERF0.0 1.0category3×1034×1036×103countRealOursDP-M ERF0.01.02.03.04.0ca tegory102103104count RealOursDP-MERF 23 0.01.02.03.04.05.07. 07.09.09.09.09.010.0 11.012.013.014.015.0 category101102103104 countRealOursDP-MERF 0.01.03.04.05.06.09. 09.010.011.012.013.0 14.0category10210310 4countRealOursDP-MER F0.01.03.04.05.07.08 .08.0category1011021 03104countRealOursDP -MERF0.01.03.04.05.0 category103countReal OursDP-MERF0.00.00.0 0.00.003×1034×1036×103633countOursDP-ME RF0.001.00.03 0.43
                                               ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。