論文の概要: Private Rate-Constrained Optimization with Applications to Fair Learning

• arxiv url: http://arxiv.org/abs/2505.22703v1
• Date: Wed, 28 May 2025 17:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.450202
• Title: Private Rate-Constrained Optimization with Applications to Fair Learning
• Title（参考訳）: プライベートレート制約最適化とフェアラーニングへの応用
• Authors: Mohammad Yaghini, Tudor Cebere, Michael Menart, Aurélien Bellet, Nicolas Papernot,
• Abstract要約: 差分プライバシー(DP)下における制約問題について検討する。 我々は、レート制約問題のラグランジアン定式化を解決するグラディエント・Descent-Ascent(SGDA)アルゴリズムの変種であるRaCO-DPを開発する。
• 参考スコア（独自算出の注目度）: 39.172158806012966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many problems in trustworthy ML can be formulated as minimization of the model error under constraints on the prediction rates of the model for suitably-chosen marginals, including most group fairness constraints (demographic parity, equality of odds, etc.). In this work, we study such constrained minimization problems under differential privacy (DP). Standard DP optimization techniques like DP-SGD rely on the loss function's decomposability into per-sample contributions. However, rate constraints introduce inter-sample dependencies, violating the decomposability requirement. To address this, we develop RaCO-DP, a DP variant of the Stochastic Gradient Descent-Ascent (SGDA) algorithm which solves the Lagrangian formulation of rate constraint problems. We demonstrate that the additional privacy cost of incorporating these constraints reduces to privately estimating a histogram over the mini-batch at each optimization step. We prove the convergence of our algorithm through a novel analysis of SGDA that leverages the linear structure of the dual parameter. Finally, empirical results on learning under group fairness constraints demonstrate that our method Pareto-dominates existing private learning approaches in fairness-utility trade-offs.
• Abstract（参考訳）: 信頼に値するMLにおける多くの問題は、モデル誤差の最小化として、グループフェアネスの制約(デコログラフパリティ、オッズ平等性など)を含む、好ましくは正当な境界値に対するモデルの予測率に対する制約として定式化することができる。 本研究では,差分プライバシー(DP)の下での制約最小化問題について検討する。 DP-SGDのような標準DP最適化手法は、損失関数のサンプルごとのコントリビューションへの分解性に依存している。 しかし、レート制約はサンプル間の依存関係を導入し、分解可能性要件に違反します。 そこで我々は,レート制約問題のラグランジアン定式化を解くSGDA(Stochastic Gradient Descent-Ascent)アルゴリズムのDP版であるRaCO-DPを開発した。 これらの制約を取り入れた追加のプライバシーコストは、各最適化ステップにおけるミニバッチ上のヒストグラムをプライベートに見積もることによって減少することを示す。 我々は,2重パラメータの線形構造を利用したSGDAの新たな解析により,アルゴリズムの収束を証明した。 最後に,グループフェアネス制約下での学習に関する実証的な結果から,我々の手法であるParetoが,フェアネスユーティリティトレードオフにおいて既存のプライベートラーニングアプローチを優位に立たせることを示した。

関連論文リスト

• Locally Private Nonparametric Contextual Multi-armed Bandits [10.579415536953132]
  ローカルディファレンシャルプライバシ(LDP)の下での非パラメトリックコンテキスト多重武装バンディット(MAB)の課題に対処する。 一致したミニマックス下界で支持されるミニマックス最適性を示す一様信頼束縛型推定器を開発した。
  論文  参考訳（メタデータ） (2025-03-11T07:00:57Z)
• Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy [4.887917220146243]
  DP-SGD(DP-SGD)を訓練した2層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることは可能であることを示す。 これにより、既存の隠れ状態のプライバシー分析が利用でき、ノイズの多いサイクリックなミニバッチ勾配降下(NoisyCGD)に対しても正確なプライバシー境界を提供する。 ベンチマーク分類タスクにおける実証的な結果から、NoisyCGDは2層ReLUネットワークに適用されたDP-SGDと同等のプライバシー利用トレードオフを達成できることが示された。
  論文  参考訳（メタデータ） (2024-07-05T22:43:32Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。