論文の概要: How to Combine Differential Privacy and Continual Learning

• arxiv url: http://arxiv.org/abs/2411.04680v3
• Date: Wed, 12 Mar 2025 19:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:50:02.942322
• Title: How to Combine Differential Privacy and Continual Learning
• Title（参考訳）: 差別化プライバシと継続的学習の併用方法
• Authors: Marlon Tobaben, Talal Alrawajfeh, Marcus Klasson, Mikko Heikkilä, Arno Solin, Antti Honkela,
• Abstract要約: 継続的な学習は、センシティブなトレーニングデータに必要な厳密なプライバシーと矛盾する。 この研究は、CLと差分プライバシー(DP)の交わりを探求する。 CLとDPを組み合わせた手法を提案する。
• 参考スコア（独自算出の注目度）: 14.721537886922864
• License:
• Abstract: The goal of continual learning (CL) is to retain knowledge across tasks, but this conflicts with strict privacy required for sensitive training data that prevents storing or memorising individual samples. This work explores the intersection of CL and differential privacy (DP). We advance the theoretical understanding and introduce methods for combining CL and DP. We formulate and clarify the theory for DP CL focusing on composition over tasks. We introduce different variants of choosing classifiers' output label space, show that choosing the output label space directly based on the task data is not DP, and offer a DP alternative. We propose a method for combining pre-trained models with DP prototype classifiers and parameter-efficient adapters learned under DP to address the trade-offs between privacy and utility in a CL setting. We also demonstrate the effectiveness of our methods for varying degrees of domain shift, for blurry tasks, and with different output label settings.
• Abstract（参考訳）: 継続学習(CL)の目標は、タスク全体にわたる知識を維持することだが、個々のサンプルの保存や記憶を妨げる機密データに必要な厳密なプライバシーと矛盾する。 この研究は、CLと差分プライバシー(DP)の交わりについて考察する。 我々は,理論的な理解を進め,CLとDPを組み合わせる方法を紹介した。 タスクの合成に焦点をあてたDP CLの理論を定式化し、明らかにする。 分類器の出力ラベル空間の異なる変種を導入し、タスクデータに基づいて出力ラベル空間を選択することはDPではなく、DPに代わるものであることを示す。 予備学習モデルとDPプロトタイプ分類器とDPで学習したパラメータ効率適応器を組み合わせることで,CL設定におけるプライバシとユーティリティのトレードオフに対処する手法を提案する。 また,ドメインシフトの度合い,曖昧なタスク,出力ラベルの設定の異なる方法の有効性を示す。

関連論文リスト

• Privacy Drift: Evolving Privacy Concerns in Incremental Learning [4.275908952997288]
  本研究の目的は,モデル性能の進化とデータプライバシの整合性との関係を明らかにすることである。 この結果から,モデル精度とプライバシ保護の複雑な相互作用が強調され,モデル性能の向上がプライバシリスクの増大につながることが明らかとなった。 この研究は、モデル精度と分散環境におけるデータのプライバシとの微妙なバランスを達成することを目的として、プライバシを意識した機械学習に関する将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2024-12-06T17:04:09Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition [51.20130423303659]
  本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。 提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2022-10-12T16:34:08Z)
• On the utility and protection of optimization with differential privacy and classic regularization techniques [9.413131350284083]
  本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。 我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
  論文  参考訳（メタデータ） (2022-09-07T14:10:21Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• The Influence of Dropout on Membership Inference in Differentially Private Models [0.0]
  異なるプライベートモデルは、モデルがトレーニングしたデータのプライバシ保護を目指している。 我々は、差分プライバシーのないモデルに対する会員推測攻撃を行う。
  論文  参考訳（メタデータ） (2021-03-16T12:09:51Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。