論文の概要: Hidden State Differential Private Mini-Batch Block Coordinate Descent for Multi-convexity Optimization

• arxiv url: http://arxiv.org/abs/2407.08233v2
• Date: Sat, 31 May 2025 18:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:52.872815
• Title: Hidden State Differential Private Mini-Batch Block Coordinate Descent for Multi-convexity Optimization
• Title（参考訳）: 多重凸最適化のための隠れ状態微分型ミニバッチブロック座標
• Authors: Ding Chen, Chen Liu,
• Abstract要約: マルチバウンド問題に対する隠れ状態仮定(HSA)の下での差分プライバシー保証について検討する。 隠蔽状態の仮定下でのプライバシー損失の最近の分析は、凸性のような強い仮定に依存している。 プライバシ損失の勾配に加え、理論的解析はニューラル降下や適応ノイズのシナリオとも互換性がある。
• 参考スコア（独自算出の注目度）: 2.3371504588528635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the differential privacy (DP) guarantees under the hidden state assumption (HSA) for multi-convex problems. Recent analyses of privacy loss under the hidden state assumption have relied on strong assumptions such as convexity, thereby limiting their applicability to practical problems. In this paper, we introduce the Differential Privacy Mini-Batch Block Coordinate Descent (DP-MBCD) algorithm, accompanied by the privacy loss accounting methods under the hidden state assumption. Our proposed methods apply to a broad range of classical non-convex problems which are or can be converted to multi-convex problems, such as matrix factorization and neural network training. In addition to a tighter bound for privacy loss, our theoretical analysis is also compatible with proximal gradient descent and adaptive calibrated noise scenarios.
• Abstract（参考訳）: マルチ凸問題に対する隠れ状態仮定(HSA)の下での差分プライバシー(DP)保証について検討する。 隠蔽状態の仮定の下でのプライバシー損失の最近の分析は、凸性などの強い仮定に依存しており、それによって実用上の問題への適用性が制限されている。 本稿では,DP-MBCD(disferial Privacy Mini-Batch Block Coordinate Descent)アルゴリズムを提案する。 提案手法は,行列係数化やニューラルネットワークトレーニングなど,複数凸問題に変換可能な古典的非凸問題に対して適用可能である。 プライバシ損失の厳密化に加えて、我々の理論解析は、近位勾配降下と適応的校正雑音のシナリオとも互換性がある。

関連論文リスト

• Private Rate-Constrained Optimization with Applications to Fair Learning [39.172158806012966]
  差分プライバシー(DP)下における制約問題について検討する。 我々は、レート制約問題のラグランジアン定式化を解決するグラディエント・Descent-Ascent(SGDA)アルゴリズムの変種であるRaCO-DPを開発する。
  論文  参考訳（メタデータ） (2025-05-28T17:55:01Z)
• Forward Learning with Differential Privacy [27.164507868291913]
  そこで我々は,DP-ULR(Disdifferial Private Unified Likelihood Ratio)という,ブループライエタリな前方学習アルゴリズムを提案する。 提案実験により,DP-ULRは,バックプロパゲーションに基づく従来の差分プライバシートレーニングアルゴリズムと比較して,競争性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-04-01T04:14:53Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• A Neural Network Training Method Based on Neuron Connection Coefficient Adjustments [2.684545081600664]
  本稿では,対称微分方程式に基づくニューラルネットワークの新しいトレーニング手法を提案する。 以前導入された方法とは異なり、このアプローチは微分方程式の固定点の調整を必要としない。 このアプローチを検証するため、MNISTデータセット上でテストを行い、有望な結果を得た。
  論文  参考訳（メタデータ） (2025-01-25T16:07:30Z)
• Minimax Optimal Two-Sample Testing under Local Differential Privacy [3.3317825075368908]
  ローカルディファレンシャルプライバシ(LDP)の下でのプライベート2サンプルテストにおけるプライバシと統計ユーティリティのトレードオフについて検討する。 本稿では,Laplace,離散Laplace,GoogleのRAPPORなど,実用的なプライバシメカニズムを用いたプライベートな置換テストを紹介する。 我々は,ビンニングによる連続データの研究を行い,その一様分離率をH"olderとBesovの滑らか度クラスよりもLDPで検討した。
  論文  参考訳（メタデータ） (2024-11-13T22:44:25Z)
• Private Language Models via Truncated Laplacian Mechanism [18.77713904999236]
  本稿では,高次元トラカート型ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。 提案手法は,従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。 注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。
  論文  参考訳（メタデータ） (2024-10-10T15:25:02Z)
• Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
  DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。 ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
  論文  参考訳（メタデータ） (2024-07-05T22:43:32Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• DP-SGD with weight clipping [1.0878040851638]
  従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。 探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
  論文  参考訳（メタデータ） (2023-10-27T09:17:15Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• On Differential Privacy and Adaptive Data Analysis with Bounded Space [76.10334958368618]
  差分プライバシーと適応データ分析の2つの関連分野の空間複雑性について検討する。 差分プライバシーで効率的に解くために指数関数的に多くの空間を必要とする問題Pが存在することを示す。 アダプティブデータ分析の研究の行は、アダプティブクエリのシーケンスに応答するのに必要なサンプルの数を理解することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-02-11T14:45:31Z)
• Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
  付加雑音は学習モデルの性能に影響を与えないことを示す。 これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
  論文  参考訳（メタデータ） (2022-10-26T10:00:14Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Differentially Private Learning Needs Hidden State (Or Much Faster Convergence) [9.429448411561541]
  差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。 私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
  論文  参考訳（メタデータ） (2022-03-10T13:31:08Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Differentially Private Deep Learning with Direct Feedback Alignment [15.410557873153833]
  直接フィードバックアライメント(DFA)を用いたディープニューラルネットワークのトレーニングのための最初の微分プライベート手法を提案する。 DFAは、様々なアーキテクチャにおけるバックプロップベースの差分プライベートトレーニングと比較して、精度(しばしば10-20%)が大幅に向上する。
  論文  参考訳（メタデータ） (2020-10-08T00:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。