論文の概要: Differentially Private Random Block Coordinate Descent

• arxiv url: http://arxiv.org/abs/2412.17054v1
• Date: Sun, 22 Dec 2024 15:06:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:18.014933
• Title: Differentially Private Random Block Coordinate Descent
• Title（参考訳）: 差分私的ランダムブロックコーディネート染料
• Authors: Artavazd Maranjyan, Abdurakhmon Sadiev, Peter Richtárik,
• Abstract要約: スケッチ行列を用いて各反復における確率の異なる複数の座標を選択する差分プライベートな座標降下法を提案する。 提案アルゴリズムはDP-CDと従来のDP-SGDの両方を一般化し,有効性を保証する。
• 参考スコア（独自算出の注目度）: 51.62669821275571
• License:
• Abstract: Coordinate Descent (CD) methods have gained significant attention in machine learning due to their effectiveness in solving high-dimensional problems and their ability to decompose complex optimization tasks. However, classical CD methods were neither designed nor analyzed with data privacy in mind, a critical concern when handling sensitive information. This has led to the development of differentially private CD methods, such as DP-CD (Differentially Private Coordinate Descent) proposed by Mangold et al. (ICML 2022), yet a disparity remains between non-private CD and DP-CD methods. In our work, we propose a differentially private random block coordinate descent method that selects multiple coordinates with varying probabilities in each iteration using sketch matrices. Our algorithm generalizes both DP-CD and the classical DP-SGD (Differentially Private Stochastic Gradient Descent), while preserving the same utility guarantees. Furthermore, we demonstrate that better utility can be achieved through importance sampling, as our method takes advantage of the heterogeneity in coordinate-wise smoothness constants, leading to improved convergence rates.
• Abstract（参考訳）: コーディネート・Descent(CD)法は、高次元問題の解法の有効性と複雑な最適化タスクを分解する能力により、機械学習において大きな注目を集めている。 しかし、古典的なCD手法はデータプライバシを念頭に設計も分析もせず、機密情報を扱う際の重要な懸念事項であった。 これは、Mangoldらによって提案されたDP-CD (Differentially Private Coordinate Descent) (ICML 2022)のような微分プライベートCD法の開発につながったが、非プライベートCD法とDP-CD法の間には相違点が残っている。 そこで本研究では,スケッチ行列を用いて各反復における確率の異なる複数の座標を選択する,差分プライベートなランダムブロック座標降下法を提案する。 本アルゴリズムはDP-CDと従来のDP-SGDの両方を一般化し,実用性を保証する。 さらに,座標方向の滑らか度定数の不均一性を活かし,コンバージェンス率の向上に寄与するので,重要サンプリングによる有効性の向上が期待できることを示す。

関連論文リスト

• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• k-Means SubClustering: A Differentially Private Algorithm with Improved Clustering Quality [0.0]
  個人プライバシを推論攻撃から保護するために、対話的な設定で多くの微分プライベートな反復アルゴリズムが提案されている。 本研究は,従来の「分別的k-平均クラスタリングと収束保証」の取り組みをベースラインとして拡張する。 提案手法の新規性は,クラスタをサブクラスタ化して,将来のセントロイド方向に移動する確率の高いセントロイドを選択することである。
  論文  参考訳（メタデータ） (2023-01-07T17:07:12Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)
• A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
  差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。 本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。 このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
  論文  参考訳（メタデータ） (2020-06-16T17:47:48Z)
• Differentially Private Stochastic Coordinate Descent [11.40366911494052]
  DP-SCDは、最初の微分プライベート座標降下アルゴリズムである。 我々は、コーディネート更新の分離と並列化が、そのユーティリティに不可欠であると主張している。
  論文  参考訳（メタデータ） (2020-06-12T15:40:46Z)
• Differentially Private k-Means Clustering with Guaranteed Convergence [5.335316436366718]
  反復的なクラスタリングアルゴリズムは、データの背後にある洞察を学習するのに役立ちます。 敵は、背景知識によって個人のプライバシーを推測することができる。 このような推論攻撃に対して個人のプライバシを保護するため、反復クラスタリングアルゴリズムの差分プライバシー(DP)を広く研究している。
  論文  参考訳（メタデータ） (2020-02-03T22:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。