論文の概要: Differentially Private Sliced Wasserstein Distance

• arxiv url: http://arxiv.org/abs/2107.01848v1
• Date: Mon, 5 Jul 2021 08:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:14:50.807233
• Title: Differentially Private Sliced Wasserstein Distance
• Title（参考訳）: 分別スライスワッサースタイン距離
• Authors: Alain Rakotomamonjy (DocApp - LITIS), Liva Ralaivola
• Abstract要約: 差分プライバシ(DP)フレームワーク下での分散の分散を計算する観点を考察する。 Sliced Wasserstein Distance に焦点をあてて,DP の勾配型衛生法に代えて根本問題に取り組む。
• 参考スコア（独自算出の注目度）: 5.330240017302619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing machine learning methods that are privacy preserving is today a central topic of research, with huge practical impacts. Among the numerous ways to address privacy-preserving learning, we here take the perspective of computing the divergences between distributions under the Differential Privacy (DP) framework -- being able to compute divergences between distributions is pivotal for many machine learning problems, such as learning generative models or domain adaptation problems. Instead of resorting to the popular gradient-based sanitization method for DP, we tackle the problem at its roots by focusing on the Sliced Wasserstein Distance and seamlessly making it differentially private. Our main contribution is as follows: we analyze the property of adding a Gaussian perturbation to the intrinsic randomized mechanism of the Sliced Wasserstein Distance, and we establish the sensitivityof the resulting differentially private mechanism. One of our important findings is that this DP mechanism transforms the Sliced Wasserstein distance into another distance, that we call the Smoothed Sliced Wasserstein Distance. This new differentially private distribution distance can be plugged into generative models and domain adaptation algorithms in a transparent way, and we empirically show that it yields highly competitive performance compared with gradient-based DP approaches from the literature, with almost no loss in accuracy for the domain adaptation problems that we consider.
• Abstract（参考訳）: プライバシを保全する機械学習手法の開発は、今日では研究の中心となっている。 プライバシ保護学習に対処する多くの方法の1つとして、差分プライバシ(DP)フレームワークの下で分散間のばらつきを計算できることが、生成モデル学習やドメイン適応問題など、多くの機械学習問題において重要なのです。 dpの一般的な勾配に基づく衛生手法を使わずに,スライスされたワッサースタイン距離に着目し,シームレスにプライベートにすることで,その根源にある問題に対処した。 我々は,スライスされたワッサースタイン距離の固有ランダム化機構にガウス摂動を付加する性質を解析し,その結果得られる微分的プライベート機構の感度を確立する。 我々の重要な発見の1つは、このDP機構がスライスされたワッサースタイン距離を別の距離に変換することである。 この新しい微分的個人分布距離は,生成モデルと領域適応アルゴリズムに透過的にプラグインすることが可能であり,本論文の勾配型dpアプローチと比較して高い競合性が得られることを実証的に示すとともに,我々が検討する領域適応問題に対する精度の損失はほとんどないことを示した。

関連論文リスト

• Learning with Differentially Private (Sliced) Wasserstein Gradients [3.154269505086155]
  本稿では,データ依存的経験的尺度間のワッサーシュタイン距離に依存する目的をプライベートに最適化するための新しい枠組みを提案する。 我々の主要な理論的貢献は、ワッサーシュタイン勾配を完全に離散的に明示的に定式化することに基づいている。 本研究では,有限サム構造を持つ問題に対するDP学習を目的とした,勾配とアクティベーションのクリッピングを取り入れたディープラーニング手法を開発した。
  論文  参考訳（メタデータ） (2025-02-03T09:14:26Z)
• Differentially Private Random Block Coordinate Descent [51.62669821275571]
  スケッチ行列を用いて各反復における確率の異なる複数の座標を選択する差分プライベートな座標降下法を提案する。 提案アルゴリズムはDP-CDと従来のDP-SGDの両方を一般化し,有効性を保証する。
  論文  参考訳（メタデータ） (2024-12-22T15:06:56Z)
• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Differentially Private Gradient Flow based on the Sliced Wasserstein Distance [59.1056830438845]
  本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。 実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:47:30Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Gromov-Wasserstein Discrepancy with Local Differential Privacy for Distributed Structural Graphs [7.4398547397969494]
  本稿では,グラフニューラルネットワークから学習したノード埋め込みのGW差分を分析するためのプライバシー保護フレームワークを提案する。 我々の実験は,$varilon$-LDPアルゴリズムによって保証される強力なプライバシー保護により,提案フレームワークがグラフ学習におけるプライバシを保存するだけでなく,GW距離下でのノイズ構造指標も提示することを示した。
  論文  参考訳（メタデータ） (2022-02-01T23:32:33Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Distributional Sliced Embedding Discrepancy for Incomparable Distributions [22.615156512223766]
  Gromov-Wasserstein (GW) 距離は多様体学習とクロスドメイン学習の鍵となるツールである。 本稿では,分散スライシング,埋め込み,スライスされた分布間の閉形式ワッサーシュタイン距離の計算という2つの計算分布を比較する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T15:11:30Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation [12.880889651679094]
  差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。 損失項の構成に合わせてランダム化勾配を2つの異なる方法で作成する項ワイズDP-SGDを提案する。
  論文  参考訳（メタデータ） (2020-06-19T16:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。