Fugu-MT 論文翻訳(概要): Differentially Private Continual Learning using Pre-Trained Models

論文の概要: Differentially Private Continual Learning using Pre-Trained Models

arxiv url: http://arxiv.org/abs/2411.04680v2
Date: Fri, 08 Nov 2024 06:47:39 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 11:36:06.136745
Title: Differentially Private Continual Learning using Pre-Trained Models
Title（参考訳）: 事前学習モデルを用いた個人差分学習
Authors: Marlon Tobaben, Marcus Klasson, Rui Li, Arno Solin, Antti Honkela,
Abstract要約: 本研究は,連続学習(CL)と差分プライバシー(DP)の交わりについて考察する。本稿では,学習環境におけるプライバシとパフォーマンスのトレードオフを解決するために,事前学習モデルを提案する。
参考スコア（独自算出の注目度）: 17.12787392937876
License:
Abstract: This work explores the intersection of continual learning (CL) and differential privacy (DP). Crucially, continual learning models must retain knowledge across tasks, but this conflicts with the differential privacy requirement of restricting individual samples to be memorised in the model. We propose using pre-trained models to address the trade-offs between privacy and performance in a continual learning setting. More specifically, we present necessary assumptions to enable privacy-preservation and propose combining pre-trained models with parameter-free classifiers and parameter-efficient adapters that are learned under differential privacy. Our experiments demonstrate their effectiveness and provide insights into balancing the competing demands of continual learning and privacy.
Abstract（参考訳）: 本研究は,連続学習(CL)と差分プライバシー(DP)の交わりについて考察する。重要なことは、連続的な学習モデルはタスク全体の知識を保持する必要があるが、これはモデルに記憶される個々のサンプルを制限するという差分プライバシー要件と矛盾する。本稿では,学習環境におけるプライバシとパフォーマンスのトレードオフを解決するために,事前学習モデルを提案する。より具体的には、プライバシ保護を可能にするために必要な仮定を提示し、差分プライバシー下で学習されるパラメータフリーな分類器とパラメータ効率の高いアダプタを組み合わせた事前学習モデルを提案する。実験では,その効果を実証し,継続的な学習とプライバシの競合する要求のバランスに関する洞察を提供する。

関連論文リスト

Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
論文参考訳（メタデータ） (2024-10-03T19:02:50Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文参考訳（メタデータ） (2023-02-15T21:40:33Z)
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition [51.20130423303659]
本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
論文参考訳（メタデータ） (2022-10-12T16:34:08Z)
On the utility and protection of optimization with differential privacy and classic regularization techniques [9.413131350284083]
本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
論文参考訳（メタデータ） (2022-09-07T14:10:21Z)
SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文参考訳（メタデータ） (2022-04-11T14:42:54Z)
Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。質問回答のための大規模モデルを用いた実験において,概念を解説する。
論文参考訳（メタデータ） (2022-03-30T22:59:24Z)
Statistical Privacy Guarantees of Machine Learning Preprocessing Techniques [1.198727138090351]
機械学習パイプラインのプライバシレベルを測定するために,統計的手法に基づくプライバシ違反検出フレームワークを適用した。新たに作成されたフレームワークを適用して、不均衡なデータセットを扱う際に使用される再サンプリング技術によって、結果のモデルがよりプライバシーを漏洩することを示す。
論文参考訳（メタデータ） (2021-09-06T14:08:47Z)
The Influence of Dropout on Membership Inference in Differentially Private Models [0.0]
異なるプライベートモデルは、モデルがトレーニングしたデータのプライバシ保護を目指している。我々は、差分プライバシーのないモデルに対する会員推測攻撃を行う。
論文参考訳（メタデータ） (2021-03-16T12:09:51Z)
Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
論文参考訳（メタデータ） (2020-09-26T10:50:33Z)
Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
論文参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。