論文の概要: Steps Adaptive Decay DPSGD: Enhancing Performance on Imbalanced Datasets with Differential Privacy with HAM10000

• arxiv url: http://arxiv.org/abs/2507.06619v1
• Date: Wed, 09 Jul 2025 07:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.508472
• Title: Steps Adaptive Decay DPSGD: Enhancing Performance on Imbalanced Datasets with Differential Privacy with HAM10000
• Title（参考訳）: Steps Adaptive Decay DPSGD: HAM10000による差分プライバシによる不均衡データセットのパフォーマンス向上
• Authors: Xiaobo Huang, Fang Xie,
• Abstract要約: SAD-DPSGDを提案する。これはノイズとクリッピング閾値に線形減衰機構を用いる。 実験の結果、SAD-DPSGDはHAM10000でAuto-DPSGDより優れ、精度は2.15%向上した。
• 参考スコア（独自算出の注目度）: 1.7265013728931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When applying machine learning to medical image classification, data leakage is a critical issue. Previous methods, such as adding noise to gradients for differential privacy, work well on large datasets like MNIST and CIFAR-100, but fail on small, imbalanced medical datasets like HAM10000. This is because the imbalanced distribution causes gradients from minority classes to be clipped and lose crucial information, while majority classes dominate. This leads the model to fall into suboptimal solutions early. To address this, we propose SAD-DPSGD, which uses a linear decaying mechanism for noise and clipping thresholds. By allocating more privacy budget and using higher clipping thresholds in the initial training phases, the model avoids suboptimal solutions and enhances performance. Experiments show that SAD-DPSGD outperforms Auto-DPSGD on HAM10000, improving accuracy by 2.15% under $\epsilon = 3.0$ , $\delta = 10^{-3}$.
• Abstract（参考訳）: 医療画像分類に機械学習を適用する場合、データの漏洩は重要な問題である。 微分プライバシーのための勾配にノイズを加えるような従来の方法は、MNISTやCIFAR-100のような大規模なデータセットではうまく機能するが、HAM10000のような小さな不均衡な医療データセットでは失敗する。 これは、不均衡な分布が少数派の階級からの勾配を削り、重要な情報を失うのに対して、多数派階級が支配的であるからである。 これにより、モデルは早期に最適以下のソリューションに陥る。 そこで本稿では,ノイズやクリッピング閾値に対する線形減衰機構を用いたSAD-DPSGDを提案する。 より多くのプライバシ予算を割り当て、最初のトレーニングフェーズでより高いクリッピングしきい値を使用することで、モデルが最適以下のソリューションを避け、パフォーマンスを向上させる。 SAD-DPSGD は HAM10000 で Auto-DPSGD より優れており、$\epsilon = 3.0$, $\delta = 10^{-3}$ で精度が 2.15% 向上している。

関連論文リスト

• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• The importance of feature preprocessing for differentially private linear optimization [38.125699428109826]
  微分プライベートモデルを訓練するための最も一般的なアルゴリズムの1つは、微分プライベート勾配降下(DPSGD)である。 線形分類の単純な場合であっても、非プライベートな最適化とは異なり、(プライベートな)特徴前処理は微分プライベートな最適化に不可欠であることを示す。 我々はDPSGDFと呼ばれるアルゴリズムを提案し、DPSGDと特徴前処理を組み合わせることで、特徴の直径に比例した最適性ギャップが生じることを証明した。
  論文  参考訳（メタデータ） (2023-07-19T20:20:52Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
  本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T16:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。