論文の概要: Distributionally-Robust Machine Learning Using Locally
Differentially-Private Data
- arxiv url: http://arxiv.org/abs/2006.13488v1
- Date: Wed, 24 Jun 2020 05:12:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 12:40:43.984614
- Title: Distributionally-Robust Machine Learning Using Locally
Differentially-Private Data
- Title（参考訳）: 局所差分データを用いた分散ロバスト機械学習
- Authors: Farhad Farokhi
- Abstract要約: 機械学習、特に回帰は、局所的に異なるプライベートデータセットを用いて検討する。
ローカルに微分プライベートなデータセットを用いた機械学習は、分散ロバスト最適化として書き直せることを示す。
- 参考スコア（独自算出の注目度）: 14.095523601311374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider machine learning, particularly regression, using
locally-differentially private datasets. The Wasserstein distance is used to
define an ambiguity set centered at the empirical distribution of the dataset
corrupted by local differential privacy noise. The ambiguity set is shown to
contain the probability distribution of unperturbed, clean data. The radius of
the ambiguity set is a function of the privacy budget, spread of the data, and
the size of the problem. Hence, machine learning with locally-differentially
private datasets can be rewritten as a distributionally-robust optimization.
For general distributions, the distributionally-robust optimization problem can
relaxed as a regularized machine learning problem with the Lipschitz constant
of the machine learning model as a regularizer. For linear and logistic
regression, this regularizer is the dual norm of the model parameters. For
Gaussian data, the distributionally-robust optimization problem can be solved
exactly to find an optimal regularizer. This approach results in an entirely
new regularizer for training linear regression models. Training with this novel
regularizer can be posed as a semi-definite program. Finally, the performance
of the proposed distributionally-robust machine learning training is
demonstrated on practical datasets.
- Abstract（参考訳）: 機械学習、特に回帰は、局所的に異なるプライベートデータセットを用いて検討する。
ワッサーシュタイン距離は、局所的な差分プライバシーノイズによって破損したデータセットの実験的分布を中心としたあいまいさセットを定義するために用いられる。
あいまいさ集合は、乱れのないクリーンなデータの確率分布を含むことが示される。
曖昧性セットの半径は、プライバシー予算、データの拡散、問題の大きさの関数である。
したがって、ローカルに微分プライベートなデータセットを持つ機械学習は、分散ロバスト最適化として書き換えることができる。
一般分布の場合、分布ロバスト最適化問題は、機械学習モデルのリプシッツ定数を正則化として正規化機械学習問題として緩和することができる。
線形回帰とロジスティック回帰では、この正規化子はモデルパラメータの双対ノルムである。
ガウスデータの場合、分布的ロバスト最適化問題は最適正規化子を見つけるために正確に解くことができる。
このアプローチは、線形回帰モデルをトレーニングするための完全に新しい正規化子をもたらす。
この新規な正規化器を用いたトレーニングは、半定型プログラムとして設定できる。
最後に,実用的なデータセット上での分散ロバスト機械学習トレーニングの性能を示す。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Differentially Private Post-Processing for Fair Regression [13.855474876965557]
我々のアルゴリズムは任意の回帰器を後処理し、出力を再マッピングすることで公平性を向上させることができる。
我々は,本アルゴリズムのサンプル複雑性を分析し,ヒストグラム中のビン数の選択から得られる統計的バイアスと分散とのトレードオフを明らかにする。
論文 参考訳（メタデータ） (2024-05-07T06:09:37Z) - Private Gradient Descent for Linear Regression: Tighter Error Bounds and
Instance-Specific Uncertainty Estimation [17.84129947587373]
正方形誤差損失下での線形回帰に対する標準偏差偏差勾配勾配の解析を改良した。
我々の分析はアルゴリズムの精度に新たな結果をもたらす。
論文 参考訳（メタデータ） (2024-02-21T04:58:41Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Optimal Regularization for a Data Source [8.38093977965175]
解の量を促進する正則化器でデータの忠実性を強制する基準を強化するのが一般的である。
本稿では,凸正則化のパワーと限界の体系的理解を求める。
論文 参考訳（メタデータ） (2022-12-27T20:11:59Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Strongly universally consistent nonparametric regression and
classification with privatised data [2.879036956042183]
非パラメトリック回帰の古典的問題を再考するが、局所的な差分プライバシー制約を課す。
我々は回帰関数の新しい推定器を設計し、よく研究された分割回帰推定器の民営版とみなすことができる。
論文 参考訳（メタデータ） (2020-10-31T09:00:43Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳（メタデータ） (2020-09-01T15:08:23Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。