論文の概要: Continual and Sliding Window Release for Private Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2203.03594v1
• Date: Mon, 7 Mar 2022 18:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 19:09:07.678519
• Title: Continual and Sliding Window Release for Private Empirical Risk Minimization
• Title（参考訳）: 個人的リスク最小化のための連続的およびスライディングウィンドウリリース
• Authors: Lauren Watson, Abhirup Ghosh, Benedek Rozemberczki, Rik Sarkar
• Abstract要約: 本稿では、最近のデータウインドウのモデルを継続的にリリースする、正規化された経験的リスク最小化アルゴリズムについて述べる。 無限の時間的地平線上でモデルをリリースしても、任意のデータポイントのプライバシコストは、一定の$epsilon$差分プライバシーによって制限される。
• 参考スコア（独自算出の注目度）: 7.054093620465401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is difficult to continually update private machine learning models with new data while maintaining privacy. Data incur increasing privacy loss -- as measured by differential privacy -- when they are used in repeated computations. In this paper, we describe regularized empirical risk minimization algorithms that continually release models for a recent window of data. One version of the algorithm uses the entire data history to improve the model for the recent window. The second version uses a sliding window of constant size to improve the model, ensuring more relevant models in case of evolving data. The algorithms operate in the framework of stochastic gradient descent. We prove that even with releasing a model at each time-step over an infinite time horizon, the privacy cost of any data point is bounded by a constant $\epsilon$ differential privacy, and the accuracy of the output models are close to optimal. Experiments on MNIST and Arxiv publications data show results consistent with the theory.
• Abstract（参考訳）: プライバシーを維持しながら、プライベート機械学習モデルを新しいデータで継続的に更新することは困難である。 データは、繰り返し計算で使用されるとき、プライバシーの損失(差分プライバシーによって測定される)を増大させる。 本稿では,最近のデータウインドウのモデルを継続的にリリースする経験的リスク最小化アルゴリズムについて述べる。 アルゴリズムの1つのバージョンは、最近のウィンドウのモデルを改善するためにデータ履歴全体を使用する。 2番目のバージョンでは、一定のサイズのスライディングウィンドウを使用してモデルを改善し、データの進化時により適切なモデルを保証する。 アルゴリズムは確率的勾配降下の枠組みで動作する。 無限の時間軸上で各時間ステップでモデルをリリースしても、任意のデータポイントのプライバシコストは一定の$\epsilon$差分プライバシで制限され、出力モデルの精度は最適に近いことが証明される。 MNISTとArxivの出版データの実験は、理論と一致した結果を示している。

関連論文リスト

• Conditional Density Estimations from Privacy-Protected Data [0.0]
  プライバシ保護されたデータセットからのシミュレーションに基づく推論手法を提案する。 本稿では,感染性疾患モデルと通常の線形回帰モデルに基づく個別時系列データについて述べる。
  論文  参考訳（メタデータ） (2023-10-19T14:34:17Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Differentially Private Linear Regression with Linked Data [3.9325957466009203]
  コンピュータ科学の数学的概念である差分プライバシーは、堅牢なプライバシー保証を提供する上昇するツールである。 最近の研究は、個々の統計および機械学習タスクの微分プライベートバージョンの開発に焦点を当てている。 相関データを用いた線形回帰のための2つの微分プライベートアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-01T21:00:19Z)
• Approximate, Adapt, Anonymize (3A): a Framework for Privacy Preserving Training Data Release for Machine Learning [3.29354893777827]
  データリリースフレームワークである3A(Approximate, Adapt, Anonymize)を導入し、機械学習のデータユーティリティを最大化する。 本稿では,実データセットと民生データセットでトレーニングしたモデルの性能指標の相違が最小限に抑えられることを示す実験的な証拠を示す。
  論文  参考訳（メタデータ） (2023-07-04T18:37:11Z)
• Differentially Private Synthetic Data Generation via Lipschitz-Regularised Variational Autoencoders [3.7463972693041274]
  生成モデルが個々のトレーニング記録の多くの詳細を記憶する傾向があることは、しばしば見落とされがちである。 本稿では,生成モデルにおける本質を直接活用するデータ生成手法について検討する。
  論文  参考訳（メタデータ） (2023-04-22T07:24:56Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
  本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。 参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。 本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-29T07:19:44Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。