論文の概要: How to Combine Differential Privacy and Continual Learning

• arxiv url: http://arxiv.org/abs/2411.04680v3
• Date: Wed, 12 Mar 2025 19:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 19:23:07.90027
• Title: How to Combine Differential Privacy and Continual Learning
• Title（参考訳）: 差別化プライバシと継続的学習の併用方法
• Authors: Marlon Tobaben, Talal Alrawajfeh, Marcus Klasson, Mikko Heikkilä, Arno Solin, Antti Honkela,
• Abstract要約: 継続的な学習は、センシティブなトレーニングデータに必要な厳密なプライバシーと矛盾する。 この研究は、CLと差分プライバシー(DP)の交わりを探求する。 CLとDPを組み合わせた手法を提案する。
• 参考スコア（独自算出の注目度）: 14.721537886922864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of continual learning (CL) is to retain knowledge across tasks, but this conflicts with strict privacy required for sensitive training data that prevents storing or memorising individual samples. This work explores the intersection of CL and differential privacy (DP). We advance the theoretical understanding and introduce methods for combining CL and DP. We formulate and clarify the theory for DP CL focusing on composition over tasks. We introduce different variants of choosing classifiers' output label space, show that choosing the output label space directly based on the task data is not DP, and offer a DP alternative. We propose a method for combining pre-trained models with DP prototype classifiers and parameter-efficient adapters learned under DP to address the trade-offs between privacy and utility in a CL setting. We also demonstrate the effectiveness of our methods for varying degrees of domain shift, for blurry tasks, and with different output label settings.
• Abstract（参考訳）: 継続学習(CL)の目標は、タスク全体にわたる知識を維持することだが、個々のサンプルの保存や記憶を妨げる機密データに必要な厳密なプライバシーと矛盾する。 この研究は、CLと差分プライバシー(DP)の交わりについて考察する。 我々は,理論的な理解を進め,CLとDPを組み合わせる方法を紹介した。 タスクの合成に焦点をあてたDP CLの理論を定式化し、明らかにする。 分類器の出力ラベル空間の異なる変種を導入し、タスクデータに基づいて出力ラベル空間を選択することはDPではなく、DPに代わるものであることを示す。 予備学習モデルとDPプロトタイプ分類器とDPで学習したパラメータ効率適応器を組み合わせることで,CL設定におけるプライバシとユーティリティのトレードオフに対処する手法を提案する。 また,ドメインシフトの度合い,曖昧なタスク,出力ラベルの設定の異なる方法の有効性を示す。

関連論文リスト

• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• Differentially Private Random Block Coordinate Descent [51.62669821275571]
  スケッチ行列を用いて各反復における確率の異なる複数の座標を選択する差分プライベートな座標降下法を提案する。 提案アルゴリズムはDP-CDと従来のDP-SGDの両方を一般化し,有効性を保証する。
  論文  参考訳（メタデータ） (2024-12-22T15:06:56Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
  標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。 本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。 視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-01T09:34:06Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• Personalized Differential Privacy for Ridge Regression [3.4751583941317166]
  我々はPDP-OP(Personalized-DP Output Perturbation Method)を導入し、データポイントごとのプライバシレベルに応じてリッジ回帰モデルのトレーニングを可能にする。 我々は、PDP-OPの厳密なプライバシー証明と、結果モデルの正確性を保証する。 我々はPDP-OPがJorgensenらのパーソナライズされたプライバシー技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-30T16:00:14Z)
• Multi-label Learning from Privacy-Label [6.403667773024114]
  プライバシラベルからのマルチラベル学習(MLLPL)という新しい設定を提案する。 ラベル付けフェーズでは、各プライバシラベルと非プライバシラベルをランダムに組み合わせて、プライバシラベルユニット(PLU)を形成する。 PLU内のラベルが正であれば、その単位は正とラベル付けされ、そうでなければ、図1に示すように負とラベル付けされる。
  論文  参考訳（メタデータ） (2023-12-20T09:09:56Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy [19.017342515321918]
  Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。 Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2023-08-23T15:50:51Z)
• Probing the Transition to Dataset-Level Privacy in ML Models Using an Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
  差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。 プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T20:39:07Z)
• Considerations on the Theory of Training Models with Differential Privacy [13.782477759025344]
  連合学習における協調学習は、各クライアントがそれぞれのローカルトレーニングデータの使用方法をコントロールしたいという一連のクライアントによって行われる。 差分プライバシーは、プライバシー漏洩を制限する方法の1つである。
  論文  参考訳（メタデータ） (2023-03-08T15:56:27Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
  回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。 グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
  論文  参考訳（メタデータ） (2023-01-18T03:17:24Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Learning versus Refutation in Noninteractive Local Differential Privacy [133.80204506727526]
  非対話的局所差分プライバシー(LDP)における2つの基本的な統計課題について検討する。 本研究の主な成果は,非対話型LDPプロトコルにおけるPAC学習の複雑さの完全な評価である。
  論文  参考訳（メタデータ） (2022-10-26T03:19:24Z)
• An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition [51.20130423303659]
  本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。 提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2022-10-12T16:34:08Z)
• Cooperative Self-Training for Multi-Target Adaptive Semantic Segmentation [26.79776306494929]
  複数のドメイン固有分類器間の協調を誘導するために擬似ラベルを用いた自己学習戦略を提案する。 我々は、自己学習の不可欠な部分を形成する画像ビューを生成する効率的な方法として、特徴スタイリングを採用している。
  論文  参考訳（メタデータ） (2022-10-04T13:03:17Z)
• On the utility and protection of optimization with differential privacy and classic regularization techniques [9.413131350284083]
  本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。 我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
  論文  参考訳（メタデータ） (2022-09-07T14:10:21Z)
• On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
  Semi-Supervised Learning (SSL)は基本的にラベルの問題である。 SSL に "class" を明示的に組み込んでいます。 提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
  論文  参考訳（メタデータ） (2022-06-29T22:01:29Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• Does Label Differential Privacy Prevent Label Inference Attacks? [26.87328379562665]
  ラベル差分プライバシー(ラベルDP)は、パブリック機能と機密性の高いプライベートラベルを持つデータセット上で、プライベートMLモデルをトレーニングするための一般的なフレームワークである。 厳格なプライバシー保証にもかかわらず、実際にはラベルDPはラベル推論攻撃(LIAs)を妨げない。
  論文  参考訳（メタデータ） (2022-02-25T20:57:29Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Statistical Privacy Guarantees of Machine Learning Preprocessing Techniques [1.198727138090351]
  機械学習パイプラインのプライバシレベルを測定するために,統計的手法に基づくプライバシ違反検出フレームワークを適用した。 新たに作成されたフレームワークを適用して、不均衡なデータセットを扱う際に使用される再サンプリング技術によって、結果のモデルがよりプライバシーを漏洩することを示す。
  論文  参考訳（メタデータ） (2021-09-06T14:08:47Z)
• Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
  マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。 ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
  論文  参考訳（メタデータ） (2021-03-20T12:44:13Z)
• The Influence of Dropout on Membership Inference in Differentially Private Models [0.0]
  異なるプライベートモデルは、モデルがトレーニングしたデータのプライバシ保護を目指している。 我々は、差分プライバシーのないモデルに対する会員推測攻撃を行う。
  論文  参考訳（メタデータ） (2021-03-16T12:09:51Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification [51.98150752331922]
  Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。 オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。 本手法は最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2020-12-26T07:35:35Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。