論文の概要: When Do Fewer Coordinates Suffice in DP-SGD?

• arxiv url: http://arxiv.org/abs/2606.04375v1
• Date: Wed, 03 Jun 2026 02:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.489215
• Title: When Do Fewer Coordinates Suffice in DP-SGD?
• Title（参考訳）: DP-SGDの相違はいつ起こるか?
• Authors: Huiqi Zhang, Fang Xie,
• Abstract要約: 最適化に必要な信号を失うことなく、プライベートトレーニングがより少なく更新できるかどうかを問う。 座標制限が有効である場合に特徴付ける基準を与える。 MNIST と FMNIST の実験では、学習された座標支援は、サイズマッチングされたランダムな支持よりも勾配エネルギーを維持できることが示されている。
• 参考スコア（独自算出の注目度）: 4.723707756235521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) injects noise into every updated coordinate, making the injected noise energy scale with the ambient parameter dimension \(d\). We ask when private training can update fewer coordinates without losing the signal needed for optimization. We propose \textsc{TP-TopK} (Two-Phase TopK DP-SGD), a two-phase method for coordinate-sparse private training without public data, in which a private warm-up phase identifies a coordinate support used to guide the main training phase. We give a criterion characterizing when coordinate restriction can be beneficial, show via a nonconvex stationarity bound that under this condition the relevant noise term scales with the active dimension \(k\) rather than the full parameter dimension \(d\), and provide a lower bound on the reliability of warm-up-based coordinate ranking. Experiments on MNIST, FMNIST, and CIFAR-10 show that learned coordinate supports can retain more gradient energy than size-matched random supports, with the largest gains when the active dimension is small and warm-up scores are informative.
• Abstract（参考訳）: 微分プライベート確率勾配降下(DP-SGD)は、更新された座標ごとにノイズを注入し、周囲パラメータ次元 \(d\) で注入されたノイズエネルギーをスケールさせる。 最適化に必要な信号を失うことなく、いつプライベートトレーニングがより少ない座標を更新できるかを問う。 そこで本研究では,2段階の協調訓練手法である‘textsc{TP-TopK} (Two-Phase TopK DP-SGD) を提案する。 この条件下では、関連する雑音項は、全パラメータ次元 \(d\) よりも活性次元 \(k\) でスケールし、ウォームアップに基づく座標ランキングの信頼性の低い境界を与える。 MNIST、FMNIST、CIFAR-10の実験では、学習された座標は、サイズマッチングされたランダムなサポートよりも勾配エネルギーを保ち、アクティブ次元が小さく、ウォームアップスコアが有益な場合の最大の利得が示される。

関連論文リスト

• DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication [71.60998478544028]
  本稿では,分散学習グラフのための圧縮通信(termedfrac-CSGP)を用いた差分的プライベート・グラディエント・プッシュを提案する。 一般の非数学的かつ滑らかな目的関数に対して,本アルゴリズムは高精度かつ効率的な通信を実現するために設計されていることを示す。
  論文  参考訳（メタデータ） (2025-12-15T17:37:02Z)
• Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence [0.0]
  クルバック・リーブラー(KL)の発散を最小化する問題について検討する。 2つの双対座標系の下での勾配に基づく最適化アルゴリズムの挙動を解析する。
  論文  参考訳（メタデータ） (2025-04-27T14:39:33Z)
• Differentially Private Random Block Coordinate Descent [51.62669821275571]
  スケッチ行列を用いて各反復における確率の異なる複数の座標を選択する差分プライベートな座標降下法を提案する。 提案アルゴリズムはDP-CDと従来のDP-SGDの両方を一般化し,有効性を保証する。
  論文  参考訳（メタデータ） (2024-12-22T15:06:56Z)
• SPARE: Symmetrized Point-to-Plane Distance for Robust Non-Rigid 3D Registration [77.13381026159111]
  本研究では,SPAREを提案する。SPAREは,非剛性登録のための対称化点-平面間距離を用いた新しい定式化である。 提案手法は, 厳密でない登録問題の精度を大幅に向上し, 比較的高い解効率を維持する。
  論文  参考訳（メタデータ） (2024-05-30T15:55:04Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• SGD with Coordinate Sampling: Theory and Practice [0.0]
  MUSKETEERは大規模問題に対する適応勾配降下アルゴリズムである。 ノイズ勾配上で最も座標座標をサンプリングし、一方向に沿って動き、座標が大幅に減少する。 合成データと実データの両方に関する数値実験により,大規模問題におけるMUSKETEERの有効性が確認された。
  論文  参考訳（メタデータ） (2021-05-25T10:37:50Z)
• Composably secure data processing for Gaussian-modulated continuous variable quantum key distribution [58.720142291102135]
  連続可変量子鍵分布(QKD)は、ボソニックモードの二次構造を用いて、2つのリモートパーティ間の秘密鍵を確立する。 構成可能な有限サイズセキュリティの一般的な設定におけるホモダイン検出プロトコルについて検討する。 特に、ハイレート(非バイナリ)の低密度パリティチェックコードを使用する必要のあるハイシグネチャ・ツー・ノイズ・システマを解析する。
  論文  参考訳（メタデータ） (2021-03-30T18:02:55Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Differentially Private Stochastic Coordinate Descent [11.40366911494052]
  DP-SCDは、最初の微分プライベート座標降下アルゴリズムである。 我々は、コーディネート更新の分離と並列化が、そのユーティリティに不可欠であると主張している。
  論文  参考訳（メタデータ） (2020-06-12T15:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。