論文の概要: Hidden State Differential Private Mini-Batch Block Coordinate Descent for Multi-convexity Optimization
- arxiv url: http://arxiv.org/abs/2407.08233v2
- Date: Sat, 31 May 2025 18:08:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-03 20:53:52.872815
- Title: Hidden State Differential Private Mini-Batch Block Coordinate Descent for Multi-convexity Optimization
- Title（参考訳）: 多重凸最適化のための隠れ状態微分型ミニバッチブロック座標
- Authors: Ding Chen, Chen Liu,
- Abstract要約: マルチバウンド問題に対する隠れ状態仮定(HSA)の下での差分プライバシー保証について検討する。
隠蔽状態の仮定下でのプライバシー損失の最近の分析は、凸性のような強い仮定に依存している。
プライバシ損失の勾配に加え、理論的解析はニューラル降下や適応ノイズのシナリオとも互換性がある。
- 参考スコア（独自算出の注目度）: 2.3371504588528635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the differential privacy (DP) guarantees under the hidden state assumption (HSA) for multi-convex problems. Recent analyses of privacy loss under the hidden state assumption have relied on strong assumptions such as convexity, thereby limiting their applicability to practical problems. In this paper, we introduce the Differential Privacy Mini-Batch Block Coordinate Descent (DP-MBCD) algorithm, accompanied by the privacy loss accounting methods under the hidden state assumption. Our proposed methods apply to a broad range of classical non-convex problems which are or can be converted to multi-convex problems, such as matrix factorization and neural network training. In addition to a tighter bound for privacy loss, our theoretical analysis is also compatible with proximal gradient descent and adaptive calibrated noise scenarios.
- Abstract（参考訳）: マルチ凸問題に対する隠れ状態仮定(HSA)の下での差分プライバシー(DP)保証について検討する。
隠蔽状態の仮定の下でのプライバシー損失の最近の分析は、凸性などの強い仮定に依存しており、それによって実用上の問題への適用性が制限されている。
本稿では,DP-MBCD(disferial Privacy Mini-Batch Block Coordinate Descent)アルゴリズムを提案する。
提案手法は,行列係数化やニューラルネットワークトレーニングなど,複数凸問題に変換可能な古典的非凸問題に対して適用可能である。
プライバシ損失の厳密化に加えて、我々の理論解析は、近位勾配降下と適応的校正雑音のシナリオとも互換性がある。
関連論文リスト
- Forward Learning with Differential Privacy [27.164507868291913]
そこで我々は,DP-ULR(Disdifferial Private Unified Likelihood Ratio)という,ブループライエタリな前方学習アルゴリズムを提案する。
提案実験により,DP-ULRは,バックプロパゲーションに基づく従来の差分プライバシートレーニングアルゴリズムと比較して,競争性能が向上することが示唆された。
論文 参考訳（メタデータ） (2025-04-01T04:14:53Z) - A Neural Network Training Method Based on Neuron Connection Coefficient Adjustments [2.684545081600664]
本稿では,対称微分方程式に基づくニューラルネットワークの新しいトレーニング手法を提案する。
以前導入された方法とは異なり、このアプローチは微分方程式の固定点の調整を必要としない。
このアプローチを検証するため、MNISTデータセット上でテストを行い、有望な結果を得た。
論文 参考訳（メタデータ） (2025-01-25T16:07:30Z) - Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。
ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
論文 参考訳（メタデータ） (2024-07-05T22:43:32Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。
探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文 参考訳（メタデータ） (2023-10-27T09:17:15Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
付加雑音は学習モデルの性能に影響を与えないことを示す。
これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
論文 参考訳（メタデータ） (2022-10-26T10:00:14Z) - NeuralDP Differentially private neural networks by design [61.675604648670095]
ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。
本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
論文 参考訳（メタデータ） (2021-07-30T12:40:19Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳（メタデータ） (2021-07-09T08:14:45Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳（メタデータ） (2021-06-25T17:45:00Z) - Wide Network Learning with Differential Privacy [7.453881927237143]
現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
論文 参考訳（メタデータ） (2021-03-01T20:31:50Z) - Differentially Private Deep Learning with Direct Feedback Alignment [15.410557873153833]
直接フィードバックアライメント(DFA)を用いたディープニューラルネットワークのトレーニングのための最初の微分プライベート手法を提案する。
DFAは、様々なアーキテクチャにおけるバックプロップベースの差分プライベートトレーニングと比較して、精度(しばしば10-20%)が大幅に向上する。
論文 参考訳（メタデータ） (2020-10-08T00:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。