論文の概要: NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data Release

• arxiv url: http://arxiv.org/abs/2202.06467v2
• Date: Tue, 5 Dec 2023 14:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 20:49:52.572739
• Title: NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data Release
• Title（参考訳）: NeuroMixGDP: プライベートデータリリースのためのニューラルネットワークによるランダム混在
• Authors: Donghao Li, Yang Cao and Yuan Yao
• Abstract要約: プライバシを保存するデータリリースアルゴリズムは、ユーザのプライバシを保護する能力に注目を集めている。 生データの混成は、データ拡張の新しい方法を提供し、有用性を改善するのに役立つ。 本稿では, 単純な構造を活かし, ノイズの多い混合機能をリリースするために, ニューラル・コラプス機能を混在させる手法を提案する。
• 参考スコア（独自算出の注目度）: 11.42197907876942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy-preserving data release algorithms have gained increasing attention for their ability to protect user privacy while enabling downstream machine learning tasks. However, the utility of current popular algorithms is not always satisfactory. Mixup of raw data provides a new way of data augmentation, which can help improve utility. However, its performance drastically deteriorates when differential privacy (DP) noise is added. To address this issue, this paper draws inspiration from the recently observed Neural Collapse (NC) phenomenon, which states that the last layer features of a neural network concentrate on the vertices of a simplex as Equiangular Tight Frame (ETF). We propose a scheme to mixup the Neural Collapse features to exploit the ETF simplex structure and release noisy mixed features to enhance the utility of the released data. By using Gaussian Differential Privacy (GDP), we obtain an asymptotic rate for the optimal mixup degree. To further enhance the utility and address the label collapse issue when the mixup degree is large, we propose a Hierarchical sampling method to stratify the mixup samples on a small number of classes. This method remarkably improves utility when the number of classes is large. Extensive experiments demonstrate the effectiveness of our proposed method in protecting against attacks and improving utility. In particular, our approach shows significantly improved utility compared to directly training classification networks with DPSGD on CIFAR100 and MiniImagenet datasets, highlighting the benefits of using privacy-preserving data release. We release reproducible code in https://github.com/Lidonghao1996/NeuroMixGDP.
• Abstract（参考訳）: プライバシ保存型データリリースアルゴリズムは、下流の機械学習タスクを可能にしながら、ユーザのプライバシを保護する能力に注目が集まっている。 しかし、現在の一般的なアルゴリズムの有用性は必ずしも満足のいくものではない。 生データのミックスアップは、新しいデータ拡張方法を提供し、有用性を改善するのに役立つ。 しかし,ディファレンシャルプライバシ(dp)ノイズが付加されると,その性能は著しく低下する。 本稿では,最近観測されたニューラル・コラプス(NC)現象から着想を得た。この現象は,ニューラルネットワークの最終層の特徴が,Equiangular Tight Frame (ETF) として単純な頂点に集中していることを示している。 そこで本研究では,etfシンプレックス構造を活用し,ノイズの多い混合特徴を開放し,データの有用性を高めるために,神経崩壊機能を混合する手法を提案する。 ガウス微分プライバシー(gdp)を用いて最適な混合度に対する漸近率を求める。 混合度が大きい場合の有効性をさらに向上し,ラベル崩壊問題に対処するために,少数のクラスで混合サンプルを階層化するための階層的サンプリング手法を提案する。 この方法はクラス数が大きければ有用性が著しく向上する。 大規模実験により,攻撃防止と実用性向上のための提案手法の有効性が示された。 特に,CIFAR100およびMiniImagenetデータセット上でのDPSGDによる分類ネットワークの直接トレーニングに比べて,実用性は著しく向上し,プライバシー保護データリリースのメリットが浮かび上がっている。 我々は再現可能なコードをhttps://github.com/Lidonghao1996/NeuroMixGDPでリリースします。

関連論文リスト

• Local Differential Privacy in Graph Neural Networks: a Reconstruction Approach [17.000441871334683]
  ユーザレベルでノードのプライバシを提供するための学習フレームワークを提案する。 我々は、分散化された微分プライバシーの概念、すなわちローカル微分プライバシに焦点を当てる。 摂動データから特徴やラベルを近似する再構成手法を開発した。
  論文  参考訳（メタデータ） (2023-09-15T17:35:51Z)
• Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
  この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。 本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。 同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
  論文  参考訳（メタデータ） (2023-09-11T14:46:55Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Privacy-Preserved Neural Graph Similarity Learning [99.78599103903777]
  本稿では,グラフ類似性学習のためのプライバシ保存型ニューラルグラフマッチングネットワークモデルPPGMを提案する。 再構成攻撃を防ぐため、提案モデルではデバイス間でノードレベルの表現を通信しない。 グラフプロパティに対する攻撃を軽減するため、両方のベクトルの情報を含む難読化機能は通信される。
  論文  参考訳（メタデータ） (2022-10-21T04:38:25Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Synthetic Over-sampling for Imbalanced Node Classification with Graph Neural Networks [34.81248024048974]
  グラフニューラルネットワーク(GNN)はノード分類の最先端性能を実現している。 多くの実世界のシナリオでは、ノードクラスは不均衡であり、グラフのほとんどの部分を構成する多数派クラスもある。 本研究では、マイノリティクラスの擬似インスタンスを生成し、トレーニングデータのバランスをとることで、この問題に対処する。
  論文  参考訳（メタデータ） (2022-06-10T19:47:05Z)
• BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine Learning [0.0]
  我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。 グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。 異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。 また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
  論文  参考訳（メタデータ） (2022-02-06T17:11:14Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Information Obfuscation of Graph Neural Networks [96.8421624921384]
  本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。 本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-28T17:55:04Z)
• GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
  本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。 参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。 本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-29T07:19:44Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。