論文の概要: Learning with Differentially Private (Sliced) Wasserstein Gradients

• arxiv url: http://arxiv.org/abs/2502.01701v1
• Date: Mon, 03 Feb 2025 09:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:52:19.059128
• Title: Learning with Differentially Private (Sliced) Wasserstein Gradients
• Title（参考訳）: 微分プライベート(スライス)ワッサースタイン勾配による学習
• Authors: Clément Lalanne, Jean-Michel Loubes, David Rodríguez-Vítores,
• Abstract要約: 本稿では,データ依存的経験的尺度間のワッサーシュタイン距離に依存する目的をプライベートに最適化するための新しい枠組みを提案する。 我々の主要な理論的貢献は、ワッサーシュタイン勾配を完全に離散的に明示的に定式化することに基づいている。 本研究では,有限サム構造を持つ問題に対するDP学習を目的とした,勾配とアクティベーションのクリッピングを取り入れたディープラーニング手法を開発した。
• 参考スコア（独自算出の注目度）: 3.154269505086155
• License:
• Abstract: In this work, we introduce a novel framework for privately optimizing objectives that rely on Wasserstein distances between data-dependent empirical measures. Our main theoretical contribution is, based on an explicit formulation of the Wasserstein gradient in a fully discrete setting, a control on the sensitivity of this gradient to individual data points, allowing strong privacy guarantees at minimal utility cost. Building on these insights, we develop a deep learning approach that incorporates gradient and activations clipping, originally designed for DP training of problems with a finite-sum structure. We further demonstrate that privacy accounting methods extend to Wasserstein-based objectives, facilitating large-scale private training. Empirical results confirm that our framework effectively balances accuracy and privacy, offering a theoretically sound solution for privacy-preserving machine learning tasks relying on optimal transport distances such as Wasserstein distance or sliced-Wasserstein distance.
• Abstract（参考訳）: 本研究では,データ依存型実証測度間のワッサーシュタイン距離に依存する目的をプライベートに最適化するための新しい枠組みを提案する。 我々の主要な理論的貢献は、完全に離散的な設定でワッサースタイン勾配の明示的な定式化に基づいて、個々のデータポイントに対するこの勾配の感度を制御し、最小限のユーティリティコストで強力なプライバシー保証を可能にすることである。 これらの知見に基づいて,有限サム構造を持つ問題に対するDPトレーニング用に考案された,勾配とアクティベーションクリッピングを組み込んだディープラーニング手法を開発した。 さらに、プライバシー会計手法がWassersteinをベースとした目的に拡張され、大規模プライベートトレーニングが促進されることを示す。 実験の結果、我々のフレームワークは精度とプライバシーのバランスを効果的に保ち、ワッサースタイン距離やスライスされたワッサーシュタイン距離といった最適な輸送距離に依存するプライバシー保護機械学習タスクに対して理論的に健全なソリューションを提供することを確認した。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Distributed, communication-efficient, and differentially private estimation of KL divergence [15.294136011320433]
  分散された機密性の高いデータを管理する上で重要なタスクは、分散の変化の度合いを測定することである。 差分プライバシの下で,計算のフェデレーションモデル間でのKL分散を推定するための新しいアルゴリズムアプローチについて述べる。
  論文  参考訳（メタデータ） (2024-11-25T15:20:40Z)
• Private Wasserstein Distance [6.015898117103069]
  ワッサーシュタイン距離は、分散の観点からデータの分散を定量化するための鍵となる指標である。 本研究では、ワッサーシュタイン空間内の固有三角形の性質を探求し、新しい解であるトライアングルワッド(TriangleWad)を導いた。
  論文  参考訳（メタデータ） (2024-04-10T06:58:58Z)
• Differentially Private Gradient Flow based on the Sliced Wasserstein Distance [59.1056830438845]
  本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。 実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:47:30Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• On Mitigating the Utility-Loss in Differentially Private Learning: A new Perspective by a Geometrically Inspired Kernel Approach [2.4253452809863116]
  本稿では、分類における精度-損失問題を緩和するために、幾何学的にインスパイアされたカーネルベースのアプローチを提案する。 与えられたデータ点のアフィン殻の表現は、再生ケルネルヒルベルト空間(RKHS)で学習される このアプローチの有効性は、MNISTデータセット、フライブルク食料品データセット、本物のバイオメディカルデータセットの実験を通じて実証される。
  論文  参考訳（メタデータ） (2023-04-03T18:52:01Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• Differentially Private Sliced Wasserstein Distance [5.330240017302619]
  差分プライバシ(DP)フレームワーク下での分散の分散を計算する観点を考察する。 Sliced Wasserstein Distance に焦点をあてて,DP の勾配型衛生法に代えて根本問題に取り組む。
  論文  参考訳（メタデータ） (2021-07-05T08:06:02Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)
• SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
  私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。 協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
  論文  参考訳（メタデータ） (2020-06-16T19:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。