論文の概要: Differentially Private Contrastive Learning via Bounding Group-level Contribution

• arxiv url: http://arxiv.org/abs/2604.26467v1
• Date: Wed, 29 Apr 2026 09:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.33092
• Title: Differentially Private Contrastive Learning via Bounding Group-level Contribution
• Title（参考訳）: グループレベルのコントリビューションによる差分私的コントラスト学習
• Authors: Kecen Li, Chen Gong, Zinan Lin, Tianhao Wang, Xiaokui Xiao,
• Abstract要約: Differentially private (DP) contrastive learningは、機密データから汎用表現を学習することを目的としている。 既存のアプローチは、過強度のサンプル間の依存性によって深刻なユーティリティ劣化に悩まされている。 DP-GCLは,群レベルのコントリビューションを限定することで,勾配依存性を制限する,原則付きDPコントラスト学習フレームワークである。
• 参考スコア（独自算出の注目度）: 33.81927216429059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private (DP) contrastive learning aims to learn general-purpose representations from sensitive data, alleviating the privacy leakage concerns of organizations deploying or sharing embedding models trained on private user content. However, existing approaches suffer from severe utility degradation due to the over-strong inter-sample dependency inherent in standard contrastive objectives, where each sample's gradient depends on all other samples in the batch, amplifying the impact of DP noise. In this work, we argue that effective DP contrastive learning requires explicitly reducing such intrinsic inter-sample reliance. To this end, we propose DP-GCL, a principled DP contrastive learning framework that structurally limits gradient dependency through bounding group-level contribution. DP-GCL partitions each batch into small, disjoint groups and restricts available negative samples to within-group samples, thereby localizing gradient influence and reducing sensitivity. To counteract the resulting loss of negative sample diversity, we further introduce intra-group augmentation, which generates additional negative views without increasing privacy cost. Extensive experiments across eight datasets demonstrate that DP-GCL consistently advances the state of the art in both uni-modal and multi-modal contrastive learning under practical privacy budgets: it improves image classification accuracy by 5.6% and image-text retrieval accuracy by 20.1% over existing DP contrastive methods.
• Abstract（参考訳）: Differentially Private (DP) 対照的な学習は、機密データから汎用的な表現を学習することを目的としており、プライベートユーザコンテンツに基づいてトレーニングされた埋め込みモデルをデプロイまたは共有する組織のプライバシー漏洩に関する懸念を軽減する。 しかし、既存の手法では、サンプルの勾配がバッチ内の他の全てのサンプルに依存し、DPノイズの影響を増幅する標準のコントラスト目的に固有の過強度のサンプル間依存性により、ユーティリティー劣化に悩まされている。 本研究では,効果的なDPコントラスト学習には,そのような本質的なサンプル間依存を明示的に低減する必要があると論じる。 そこで我々はDP-GCLを提案する。DP-GCLは,群レベルのコントリビューションによる勾配依存性を構造的に制限する,原則付きDPコントラスト学習フレームワークである。 DP-GCLは、各バッチを小さな非結合なグループに分割し、利用可能な負のサンプルをグループ内のサンプルに制限することで、勾配の影響を局所化し、感度を低下させる。 負のサンプルの多様性の喪失に対処するために、プライバシーコストを増大させることなく、さらに負のビューを発生させるグループ内の拡張を導入する。 8つのデータセットにわたる大規模な実験により、DP-GCLは、実用的プライバシー予算の下で、一様および多モードのコントラスト学習において、一貫して最先端の最先端の学習を行っていることが示される: 画像分類精度は5.6%改善し、画像テキストの精度は既存のDPコントラスト学習法より20.1%向上した。

関連論文リスト

• SoftAdaClip: A Smooth Clipping Strategy for Fair and Private Model Training [13.525340904948829]
  ハードクリッピングをスムーズでタングベースの変換に置き換える,微分プライベートなトレーニング手法であるSoftAdaClipを導入する。 我々はMIMIC-III(クリニカルテキスト)、GOSSIS-eICU(構造化ヘルスケア)、成人所得など、様々なデータセットでSoftAdaClipを評価した。 その結果,SoftAdaClipはDP-SGDに対して最大87%,Adaptive-DPSGDでは最大48%のサブグループ格差を減少させることがわかった。
  論文  参考訳（メタデータ） (2025-10-01T20:38:37Z)
• Harnessing Group-Oriented Consistency Constraints for Semi-Supervised Semantic Segmentation in CdZnTe Semiconductors [71.44213719783703]
  ICAF(Intra-group Consistency Augmentation Framework)は、CdZnTe(Cadmium Zinc Telluride)半導体画像にラベルを付けるために開発された。 ICAF は View Augmentation Module (VAM) と View Correction Module (VCM) の2つの重要なモジュールで構成されている。 ICAFは、CdZnTeデータセット上の70.6% mIoUを2つのグループアノテートデータのみを用いて達成する。
  論文  参考訳（メタデータ） (2025-08-18T09:40:36Z)
• Decoupled Contrastive Learning for Federated Learning [0.0]
  Decoupled Contrastive Learning for Federated Learning (DCFL)を紹介する。 DCFLは、既存の対照的な損失を2つの目的に分離する、新しいフレームワークである。 以上の結果から,DCFLは正試料間の配向が強く,負試料間の一様性が高いことがわかった。
  論文  参考訳（メタデータ） (2025-08-06T01:39:54Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Differentially Private Estimation of Heterogeneous Causal Effects [9.355532300027727]
  本稿では,条件付き平均治療効果(CATE)を差分プライバシー保証で推定するための一般的なメタアルゴリズムを提案する。 我々のメタアルゴリズムは、SラーナーやDRやRラーナーのようなより複雑な多段推定器のような単純な単段CATE推定器で動作する。
  論文  参考訳（メタデータ） (2022-02-22T17:21:18Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy [18.69118059633505]
  機械学習において差分プライバシを強制する場合、ユーティリティプライバシのトレードオフは各グループごとに異なります。 本研究では、差分プライバシーによるユーティリティ損失の不等式の分析を行い、修正差分プライベート勾配勾配(DPSGD)を提案する。 実験により, DPSGDFにおけるグループ標本サイズとグループクリッピングバイアスが, DPSGDFにおける差分プライバシの影響に及ぼす影響と, DPSGDFにおける差分プライバシによる差分クリッピングの影響を緩和する要因について検討した。
  論文  参考訳（メタデータ） (2020-03-08T02:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。