論文の概要: Stability and Generalization of Differentially Private Minimax Problems
- arxiv url: http://arxiv.org/abs/2204.04858v1
- Date: Mon, 11 Apr 2022 03:59:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 18:09:09.575971
- Title: Stability and Generalization of Differentially Private Minimax Problems
- Title（参考訳）: 微分プライベートミニマックス問題の安定性と一般化
- Authors: Yilin Kang, Yong Liu, Jian Li, Weiping Wang
- Abstract要約: 我々は、プライバシーの一般化とミニマックス最適化のパラダイムを組み合わせることで、微分一般ミニマックスについて検討する。
我々の知る限りでは、一般ミニマックスパラダイムの一般化性能を解析するのはこれが初めてである。
- 参考スコア（独自算出の注目度）: 20.246768861331276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of machine learning, many problems can be formulated as the
minimax problem, including reinforcement learning, generative adversarial
networks, to just name a few. So the minimax problem has attracted a huge
amount of attentions from researchers in recent decades. However, there is
relatively little work on studying the privacy of the general minimax paradigm.
In this paper, we focus on the privacy of the general minimax setting,
combining differential privacy together with minimax optimization paradigm.
Besides, via algorithmic stability theory, we theoretically analyze the high
probability generalization performance of the differentially private minimax
algorithm under the strongly-convex-strongly-concave condition. To the best of
our knowledge, this is the first time to analyze the generalization performance
of general minimax paradigm, taking differential privacy into account.
- Abstract（参考訳）: 機械学習の分野では、強化学習、生成的敵ネットワークなど、多くの問題をミニマックス問題として定式化することができる。
minimaxの問題はここ数十年、研究者の注目を集めている。
しかし、一般的なminimaxパラダイムのプライバシーを研究する作業は、比較的少ない。
本稿では、差分プライバシーとミニマックス最適化のパラダイムを組み合わせることで、一般的なミニマックス設定のプライバシーに焦点を当てる。
さらに, アルゴリズム安定性理論を用いて, 強凸強凸条件下での微分プライベートミニマックスアルゴリズムの高確率一般化性能を理論的に解析した。
私たちの知る限りでは、差分プライバシーを考慮して、general minimaxパラダイムの一般化性能を分析するのは初めてです。
関連論文リスト
- Towards Sharper Risk Bounds for Minimax Problems [23.380477456114118]
ミニマックス問題は、敵対的、堅牢な最適化、強化学習といった機械学習で成功している。
理論解析では、現在の最適余剰リスク境界は一般化誤差と強強コンケーブ(SC-SC)における1/nレートによって構成される。
我々は、経験的サドル点(GDA)、勾配降下(DA)、勾配降下(SG)などの一般的なアルゴリズムを分析する。
ミニマックス問題の結果より n 倍早く導出する。
論文 参考訳（メタデータ） (2024-10-11T03:50:23Z) - Differentially Private Sliced Inverse Regression: Minimax Optimality and
Algorithm [16.14032140601778]
十分な次元削減の文脈において、プライバシー問題に対処するために設計された最適微分プライベートアルゴリズムを提案する。
我々は、対数係数まで最小限の下位境界を達成できる微分プライベートアルゴリズムを開発した。
自然な拡張として、微分プライベートスパース主成分分析に類似した下界と上界を容易に提供できる。
論文 参考訳（メタデータ） (2024-01-16T06:47:43Z) - Instance-Optimal Differentially Private Estimation [2.320417845168326]
我々は,$epsilon$-differential privacyの対象となる局所最小収束推定値について検討した。
そこで本研究では,Canonneらの最近の最適プライベートテスタによる簡易仮説テストのための最適アルゴリズムが,局所最小推定アルゴリズムの設計を直接的に通知することを示した。
論文 参考訳（メタデータ） (2022-10-28T01:08:01Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - What is a Good Metric to Study Generalization of Minimax Learners? [24.577243536475233]
Minimax最適化は多くの機械学習(ML)問題のバックボーンとして機能している。
データでトレーニングされたソリューションがメトリックテストでどのように機能するかは、比較的調査されていない。
本稿では,これらの問題に対処するため,新しい計量一般化ミニマックス学習者を提案する。
論文 参考訳（メタデータ） (2022-06-09T13:39:06Z) - Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。
連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。
提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
論文 参考訳（メタデータ） (2021-11-01T21:06:35Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳（メタデータ） (2021-06-28T00:38:54Z) - Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。
この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。
両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-06-14T10:36:25Z) - Stability and Generalization of Stochastic Gradient Methods for Minimax
Problems [71.60601421935844]
多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。
ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
論文 参考訳（メタデータ） (2021-05-08T22:38:00Z) - Train simultaneously, generalize better: Stability of gradient-based
minimax learners [12.691047660244331]
コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。
学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
論文 参考訳（メタデータ） (2020-10-23T17:44:43Z) - Non-convex Min-Max Optimization: Applications, Challenges, and Recent
Theoretical Advances [58.54078318403909]
min-max問題(英: min-max problem)またはサドル点問題(英: saddle point problem)は、サムゲームにおいても研究されるクラス逆問題である。
論文 参考訳（メタデータ） (2020-06-15T05:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。