論文の概要: Continual Learning with Differential Privacy

• arxiv url: http://arxiv.org/abs/2110.05223v1
• Date: Mon, 11 Oct 2021 12:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 21:02:46.194382
• Title: Continual Learning with Differential Privacy
• Title（参考訳）: ディファレンシャルプライバシを用いた連続学習
• Authors: Pradnya Desai, Phung Lai, NhatHai Phan, and My T. Thai
• Abstract要約: 本稿では,連続学習の学習プロセスに参加するデータレコードの感度を拘束するために,連続的な隣接データベースの概念を導入する。 我々は,学習データのプライバシーリスクを定量化するためのデータサンプリング戦略を備えた,CLのための新しいDP保存アルゴリズムを開発した。 我々のアルゴリズムはCL内のタスク間でのデータレコードの正式なプライバシ保証を提供する。
• 参考スコア（独自算出の注目度）: 19.186539487598385
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we focus on preserving differential privacy (DP) in continual learning (CL), in which we train ML models to learn a sequence of new tasks while memorizing previous tasks. We first introduce a notion of continual adjacent databases to bound the sensitivity of any data record participating in the training process of CL. Based upon that, we develop a new DP-preserving algorithm for CL with a data sampling strategy to quantify the privacy risk of training data in the well-known Averaged Gradient Episodic Memory (A-GEM) approach by applying a moments accountant. Our algorithm provides formal guarantees of privacy for data records across tasks in CL. Preliminary theoretical analysis and evaluations show that our mechanism tightens the privacy loss while maintaining a promising model utility.
• Abstract（参考訳）: 本稿では,連続学習(CL)における差分プライバシ(DP)の保存に着目し,従来のタスクを記憶しながら新しいタスクを学習するためにMLモデルを訓練する。 まず、CLのトレーニングプロセスに参加するデータレコードの感度を拘束するために、連続的な隣接データベースの概念を導入する。 そこで,本研究では,よく知られた平均勾配エピソードメモリ(a-gem)手法において,モーメント・アカウンタを適用することで,データのプライバシリスクを定量化するデータサンプリング戦略を備えた,clのための新しいdp保存アルゴリズムを開発した。 我々のアルゴリズムはCL内のタスク間でのデータレコードの正式なプライバシ保証を提供する。 予備的な理論的分析と評価により,我々のメカニズムは,有望なモデルユーティリティを維持しながら,プライバシ損失を緩和することを示す。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• TS-ACL: A Time Series Analytic Continual Learning Framework for Privacy-Preserving and Class-Incremental Pattern Recognition [14.108911377558242]
  TS-ACLは、プライバシー保護とクラスインクリメンタルパターン認識のための新しいフレームワークである。 モデルの各更新は、クローズドフォームのソリューションで、勾配のない分析学習プロセスに変換される。 同時に、非鍛造、プライバシー保護、軽量消費を実現し、様々なアプリケーションに広く適合する。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• Towards Split Learning-based Privacy-Preserving Record Linkage [49.1574468325115]
  ユーザデータのプライバシが要求されるアプリケーションを容易にするために、Split Learningが導入されている。 本稿では,プライバシ保護記録マッチングのための分割学習の可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-02T09:17:05Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Detecting Morphing Attacks via Continual Incremental Training [10.796380524798744]
  近年の継続学習(CL)パラダイムは,複数のサイトを通したインクリメンタルトレーニングを実現する上で,効果的なソリューションである可能性がある。 本稿では,このシナリオにおける異なる連続学習手法の性能について検討し,可変サイズであっても,新しいデータチャンクが利用できる度に更新される学習モデルをシミュレートする。 実験結果から,特定のCL手法,すなわちLawF(Learning without Forgetting)が最良性能アルゴリズムの1つであることが判明した。
  論文  参考訳（メタデータ） (2023-07-27T17:48:29Z)
• Safeguarding Data in Multimodal AI: A Differentially Private Approach to CLIP Training [15.928338716118697]
  本稿では,コントラスト言語-画像事前学習(CLIP)モデルの個人適応について紹介する。 提案手法であるDp-CLIPをベンチマークデータを用いて厳密に評価する。
  論文  参考訳（メタデータ） (2023-06-13T23:32:09Z)
• Considerations on the Theory of Training Models with Differential Privacy [13.782477759025344]
  連合学習における協調学習は、各クライアントがそれぞれのローカルトレーニングデータの使用方法をコントロールしたいという一連のクライアントによって行われる。 差分プライバシーは、プライバシー漏洩を制限する方法の1つである。
  論文  参考訳（メタデータ） (2023-03-08T15:56:27Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Stratified cross-validation for unbiased and privacy-preserving federated learning [0.0]
  本稿では、重複レコードの繰り返し問題に焦点をあて、もし適切に扱わなければ、モデルの性能を過度に最適化的に見積もる可能性がある。 本稿では,階層化手法を活用して,フェデレート学習環境におけるデータ漏洩を防止する検証手法である階層化クロスバリデーションを紹介し,議論する。
  論文  参考訳（メタデータ） (2020-01-22T15:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。