論文の概要: Differentially Private ERM Based on Data Perturbation
- arxiv url: http://arxiv.org/abs/2002.08578v1
- Date: Thu, 20 Feb 2020 06:05:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 06:41:43.282946
- Title: Differentially Private ERM Based on Data Perturbation
- Title(参考訳): データ摂動に基づく微分プライベートEMM
- Authors: Yilin Kang, Yong Liu, Lizhong Ding, Xinwang Liu, Xinyi Tong and
Weiping Wang
- Abstract要約: 最終学習モデルにおける各種トレーニングデータインスタンスのコントリビューションを測定した。
本手法の鍵は各データインスタンスを別々に計測することであり,DP-ERMのための新しいデータ摂動(DB)パラダイムを提案する。
- 参考スコア(独自算出の注目度): 41.37436071802578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, after observing that different training data instances affect
the machine learning model to different extents, we attempt to improve the
performance of differentially private empirical risk minimization (DP-ERM) from
a new perspective. Specifically, we measure the contributions of various
training data instances on the final machine learning model, and select some of
them to add random noise. Considering that the key of our method is to measure
each data instance separately, we propose a new `Data perturbation' based (DB)
paradigm for DP-ERM: adding random noise to the original training data and
achieving ($\epsilon,\delta$)-differential privacy on the final machine
learning model, along with the preservation on the original data. By
introducing the Influence Function (IF), we quantitatively measure the impact
of the training data on the final model. Theoretical and experimental results
show that our proposed DBDP-ERM paradigm enhances the model performance
significantly.
- Abstract(参考訳): 本稿では、異なるトレーニングデータインスタンスが機械学習モデルに異なる範囲で影響を及ぼすことを観察した後、新たな視点から、微分プライベートな経験的リスク最小化(DP-ERM)の性能改善を試みる。
具体的には、最終機械学習モデルにおける各種トレーニングデータインスタンスのコントリビューションを測定し、そのいくつかを選択してランダムノイズを加える。
本手法の鍵は各データインスタンスを別々に計測することであり,dp-ermの新たな「データ摂動(data perturbation)」に基づく(db)パラダイムを提案する。
影響関数(if)を導入することで,最終モデルに対するトレーニングデータの影響を定量的に測定する。
理論および実験により,提案するdbdp-ermパラダイムにより,モデル性能が大幅に向上することを示した。
関連論文リスト
- Distributed Personalized Empirical Risk Minimization [19.087524494290676]
本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。
本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
論文 参考訳(メタデータ) (2023-10-26T20:07:33Z) - Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。
実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
論文 参考訳(メタデータ) (2023-10-15T04:24:42Z) - Towards Personalized Federated Learning via Heterogeneous Model
Reassembly [84.44268421053043]
pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。
pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
論文 参考訳(メタデータ) (2023-08-16T19:36:01Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z) - Arbitrary Decisions are a Hidden Cost of Differentially Private Training [7.560688419767116]
機械学習で使用されるメカニズムは、しばしばモデルトレーニング中に差分プライバシー(DP)を保証することを目的としている。
モデルパラメータをプライバシに敏感なデータに適合させる際にランダム化を利用する。
与えられた入力の例として、等プライベートなモデルによって予測される出力は、トレーニングで使用されるランダム性に依存する。
論文 参考訳(メタデータ) (2023-02-28T12:13:43Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2022-05-25T13:04:53Z) - Reconstructing Training Data from Diverse ML Models by Ensemble
Inversion [8.414622657659168]
モデルインバージョン(MI)は、学習された機械学習(ML)モデルへのアクセスを敵が悪用するものであり、研究の注目を集めている。
本研究では,訓練されたモデルのアンサンブルに制約されたジェネレータを訓練することにより,元のトレーニングデータの分布を推定するアンサンブル変換手法を提案する。
データセットを使わずに高品質な結果が得られ、想定されるトレーニングデータに類似した補助データセットを利用することで、結果がどう改善されるかを示す。
論文 参考訳(メタデータ) (2021-11-05T18:59:01Z) - An Analysis of the Deployment of Models Trained on Private Tabular
Synthetic Data: Unexpected Surprises [4.129847064263057]
異なるプライベート(DP)合成データセットは、機械学習モデルをトレーニングするための強力なアプローチである。
差分プライベートな合成データ生成が分類に与える影響について検討する。
論文 参考訳(メタデータ) (2021-06-15T21:00:57Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。