論文の概要: High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent

• arxiv url: http://arxiv.org/abs/2207.01560v1
• Date: Mon, 4 Jul 2022 16:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 13:59:11.604567
• Title: High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent
• Title（参考訳）: グリーディコーディネートによる高次元私的リスク最小化
• Authors: Paul Mangold, Aur\'elien Bellet, Joseph Salmon, Marc Tommasi
• Abstract要約: 本稿では,DP-ERM (differentially private empirical risk iteration) について検討する。 DP-ERMの(Worst-case)ユーティリティは次元が大きくなるにつれて減少することが示されている。 そこで本研究では,DP-GCDアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 11.49109939095326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study differentially private empirical risk minimization (DP-ERM). It has been shown that the (worst-case) utility of DP-ERM reduces as the dimension increases. This is a major obstacle to privately learning large machine learning models. In high dimension, it is common for some model's parameters to carry more information than others. To exploit this, we propose a differentially private greedy coordinate descent (DP-GCD) algorithm. At each iteration, DP-GCD privately performs a coordinate-wise gradient step along the gradients' (approximately) greatest entry. We show theoretically that DP-GCD can improve utility by exploiting structural properties of the problem's solution (such as sparsity or quasi-sparsity), with very fast progress in early iterations. We then illustrate this numerically, both on synthetic and real datasets. Finally, we describe promising directions for future work.
• Abstract（参考訳）: 本稿では,DP-ERMの個人的リスク最小化について検討する。 DP-ERMの(Worst-case)ユーティリティは次元が大きくなるにつれて減少することが示されている。 これは、大規模機械学習モデルをプライベートに学習する上での大きな障害である。 高次元では、あるモデルのパラメータが他のモデルよりも多くの情報を運ぶことが一般的である。 そこで本研究では, 微分的にプライベートな greedy coordinate descend (dp-gcd) アルゴリズムを提案する。 各イテレーションで、dp-gcdは、勾配の(ほぼ)最大エントリに沿って座標的な勾配ステップをプライベートに実行する。 DP-GCDは問題の解の構造的特性(空間性や準スパーシリティなど)を生かして実用性を向上させることができることを示す。 次に、これを合成データセットと実データセットの両方で数値的に説明します。 最後に,今後の研究の方向性について述べる。

関連論文リスト

• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• Bypassing the Ambient Dimension: Private SGD with Gradient Subspace Identification [47.23063195722975]
  微分プライベートSGD(DP-SGD)は、微分プライベートな経験的リスク最小化(ERM)を解決する最も一般的な方法の1つである。 各勾配更新におけるノイズの多い摂動のため、DP-SGDの誤差率は、モデル内のパラメータ数である周囲次元$p$でスケールする。 雑音勾配を低次元部分空間に投影することでノイズ低減を行うDP-SGDを提案する。
  論文  参考訳（メタデータ） (2020-07-07T22:31:01Z)
• A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
  差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。 本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。 このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
  論文  参考訳（メタデータ） (2020-06-16T17:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。