論文の概要: Differentially Private Non-convex Distributionally Robust Optimization
- arxiv url: http://arxiv.org/abs/2602.16155v1
- Date: Wed, 18 Feb 2026 03:00:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-19 15:58:30.50027
- Title: Differentially Private Non-convex Distributionally Robust Optimization
- Title（参考訳）: 微分プライベート非凸分布ロバスト最適化
- Authors: Difei Xu, Meng Ding, Zebin Ma, Huanyi Xie, Youming Tao, Aicha Slaitane, Di Wang,
- Abstract要約: 現実の展開は、通常、グループの不均衡、敵の摂動に直面し、従来の経験的最小化(ERM)フレームワークは著しく低下する。
本稿では,差分プライバシー(DP)最適化の総合的研究について述べる。
提案手法はDPミニマックス最適化における既存手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 5.6429100834174655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world deployments routinely face distribution shifts, group imbalances, and adversarial perturbations, under which the traditional Empirical Risk Minimization (ERM) framework can degrade severely. Distributionally Robust Optimization (DRO) addresses this issue by optimizing the worst-case expected loss over an uncertainty set of distributions, offering a principled approach to robustness. Meanwhile, as training data in DRO always involves sensitive information, safeguarding it against leakage under Differential Privacy (DP) is essential. In contrast to classical DP-ERM, DP-DRO has received much less attention due to its minimax optimization structure with uncertainty constraint. To bridge the gap, we provide a comprehensive study of DP-(finite-sum)-DRO with $ψ$-divergence and non-convex loss. First, we study DRO with general $ψ$-divergence by reformulating it as a minimization problem, and develop a novel $(\varepsilon, δ)$-DP optimization method, called DP Double-Spider, tailored to this structure. Under mild assumptions, we show that it achieves a utility bound of $\mathcal{O}(\frac{1}{\sqrt{n}}+ (\frac{\sqrt{d \log (1/δ)}}{n \varepsilon})^{2/3})$ in terms of the gradient norm, where $n$ denotes the data size and $d$ denotes the model dimension. We further improve the utility rate for specific divergences. In particular, for DP-DRO with KL-divergence, by transforming the problem into a compositional finite-sum optimization problem, we develop a DP Recursive-Spider method and show that it achieves a utility bound of $\mathcal{O}((\frac{\sqrt{d \log(1/δ)}}{n\varepsilon})^{2/3} )$, matching the best-known result for non-convex DP-ERM. Experimentally, we demonstrate that our proposed methods outperform existing approaches for DP minimax optimization.
- Abstract（参考訳）: 現実のデプロイメントでは、分散シフトやグループ不均衡、敵の摂動が日常的に発生し、従来の経験的リスク最小化(ERM)フレームワークは著しく低下する可能性がある。
分散ロバスト最適化(DRO)は、不確実性の集合に対する最悪の損失を最適化することでこの問題に対処し、ロバスト性に対する原則化されたアプローチを提供する。
一方、DROにおけるトレーニングデータは、常にセンシティブな情報を必要とするため、差分プライバシー(DP)の下での漏洩を防ぐことが不可欠である。
従来のDP-ERMとは対照的に、DP-DROは不確実性制約を持つ最小最適化構造のため、はるかに注目されていない。
このギャップを埋めるため、DP-(有限サム)-DROを$$$-divergence と non-convex loss で包括的に研究する。
まず、DROを最小化問題として再定義し、DPダブルスパイダーと呼ばれる新しい$(\varepsilon, δ)$-DP最適化法を開発する。
穏やかな仮定の下では、$\mathcal{O}(\frac{1}{\sqrt{n}}+ (\frac{\sqrt{d \log (1/δ)}}{n \varepsilon})^{2/3})$の効用境界を達成することを示す。
我々は、特定の発散に対する効用率をさらに改善する。
特に、KL-ディバージェンスを持つDP-DROに対して、問題を合成有限サム最適化問題に変換することにより、DP再帰-スパイダー法を開発し、非凸DP-ERMに対して最もよく知られた結果と一致する、$\mathcal{O}((\frac{\sqrt{d \log(1/δ)}}{n\varepsilon})^{2/3})$のユーティリティ境界が得られることを示す。
実験により,提案手法はDPミニマックス最適化の既存手法よりも優れていることを示した。
関連論文リスト
- Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。
無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。
本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
論文 参考訳（メタデータ） (2026-02-11T21:44:20Z) - Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。
私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。
この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
論文 参考訳（メタデータ） (2025-07-14T18:34:10Z) - Improved Rates of Differentially Private Nonconvex-Strongly-Concave Minimax Optimization [10.913566070767596]
差分プライバシー(DP)モデルにおける最小値最適化の問題について検討する。
経験的リスク関数の Descent $l$-norm が $tO(n)(n)$ で上界となる推定器を得ることが可能である。
論文 参考訳（メタデータ） (2025-03-24T03:51:27Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over
Graphs [54.08445874064361]
本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。
Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。
提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
論文 参考訳（メタデータ） (2022-08-29T18:01:42Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Differentially Private Sampling from Rashomon Sets, and the Universality
of Langevin Diffusion for Convex Optimization [15.404265455635587]
プライバシー分析が凸性に依存しず、プライバシーを損なうことなくいつでも停止することができる指数関数機構からのサンプリングアルゴリズムを提案する。
我々は、純粋および近似微分プライバシー(DP)の下で(強く)凸損失に対する最適過大な経験と人口リスクの保証を得る。
このフレームワークにより、Rashomon集合からDP一様サンプリングを設計できる。
論文 参考訳（メタデータ） (2022-04-04T15:33:21Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - On Differentially Private Stochastic Convex Optimization with
Heavy-tailed Data [18.351352536791453]
本稿では,重み付きデータを用いた凸最適化(SCO)のためのDPアルゴリズムの設計について考察する。
このようなデータの不規則性は、ほとんど全ての既存のDP-SCOおよびDP-ERM法で使われるいくつかの重要な仮定に反する。
我々は,データの不規則性に起因する課題に対して,アルゴリズムが効果的に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-10-21T15:45:27Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。