論文の概要: Distributed quasi-Newton robust estimation under differential privacy

• arxiv url: http://arxiv.org/abs/2408.12353v1
• Date: Thu, 22 Aug 2024 12:51:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 14:03:43.021886
• Title: Distributed quasi-Newton robust estimation under differential privacy
• Title（参考訳）: 差分プライバシー下における分散準ニュートンロバスト推定
• Authors: Chuhan Wang, Lixing Zhu, Xuehu Zhu,
• Abstract要約: 本稿では,ノードマシンが5つのベクトルを中央プロセッサに高効率で送信することのみを必要とする,頑健な分散準ニュートン推定法を提案する。 より多くの送信ラウンドを必要とする勾配降下戦略や、ヘッセン行列全体を送信する必要があるニュートン戦略と比較すると、新しい準ニュートン反復はプライバシー予算と送信コストを削減する利点がある。
• 参考スコア（独自算出の注目度）: 4.365412997331618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For distributed computing with Byzantine machines under Privacy Protection (PP) constraints, this paper develops a robust PP distributed quasi-Newton estimation, which only requires the node machines to transmit five vectors to the central processor with high asymptotic relative efficiency. Compared with the gradient descent strategy which requires more rounds of transmission and the Newton iteration strategy which requires the entire Hessian matrix to be transmitted, the novel quasi-Newton iteration has advantages in reducing privacy budgeting and transmission cost. Moreover, our PP algorithm does not depend on the boundedness of gradients and second-order derivatives. When gradients and second-order derivatives follow sub-exponential distributions, we offer a mechanism that can ensure PP with a sufficiently high probability. Furthermore, this novel estimator can achieve the optimal convergence rate and the asymptotic normality. The numerical studies on synthetic and real data sets evaluate the performance of the proposed algorithm.
• Abstract（参考訳）: 本稿では,プライバシ保護(PP)制約下でのビザンチンマシンによる分散コンピューティングにおいて,ノードマシンが5つのベクトルを中央プロセッサに送信するだけで高い漸近的相対効率で送信できる,ロバストなPP分散準ニュートン推定法を提案する。 より多くの送信ラウンドを必要とする勾配降下戦略や、ヘッセン行列全体の送信を必要とするニュートン反復戦略と比較すると、新しい準ニュートン反復はプライバシー予算と送信コストを削減する利点がある。 さらに、我々のPPアルゴリズムは勾配と二階微分の有界性に依存しない。 勾配と二階微分が部分指数分布に従うとき、十分に高い確率でPPを保証するメカニズムを提供する。 さらに、この新しい推定器は最適な収束率と漸近正規性を達成することができる。 合成および実データ集合に関する数値的研究は,提案アルゴリズムの性能を評価する。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Characterizing the SLOPE Trade-off: A Variational Perspective and the Donoho-Tanner Limit [29.344264789740894]
  sorted l1 regularizationは高次元統計的推定問題の解法として多くの方法に取り入れられている。 本手法は,FDP(False discovery proportion)と真正比( true positive proportion, TPP)の最適SLOPEトレードオフを特徴付けることにより,変数選択をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2021-05-27T16:56:42Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。