論文の概要: Differentially Private Kernel Inducing Points using features from ScatterNets (DP-KIP-ScatterNet) for Privacy Preserving Data Distillation

• arxiv url: http://arxiv.org/abs/2301.13389v2
• Date: Mon, 22 Apr 2024 17:13:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 01:32:01.881321
• Title: Differentially Private Kernel Inducing Points using features from ScatterNets (DP-KIP-ScatterNet) for Privacy Preserving Data Distillation
• Title（参考訳）: データ蒸留のプライバシー保護のためのScatterNets(DP-KIP-ScatterNet)の機能を用いた異なるプライベートカーネル誘導ポイント
• Authors: Margarita Vinaroz, Mi Jung Park,
• Abstract要約: プライバシ保存データ蒸留のための差分プライベートカーネル誘導点(DP-KIP)を導入する。 無限大の畳み込みニューラルタンジェントカーネル(conv-NTK)を用いたKIPは、完全に接続されたNTKを用いたKIPよりも優れた性能を示す。 本稿では、conv-NTKではなく、Scattering Network(ScatterNet)のウェーブレット機能を利用するDP-KIP-ScatterNetを提案する。
• 参考スコア（独自算出の注目度）: 5.041384008847852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data distillation aims to generate a small data set that closely mimics the performance of a given learning algorithm on the original data set. The distilled dataset is hence useful to simplify the training process thanks to its small data size. However, distilled data samples are not necessarily privacy-preserving, even if they are generally humanly indiscernible. To address this limitation, we introduce differentially private kernel inducing points (DP-KIP) for privacy-preserving data distillation. Unlike our original intention to simply apply DP-SGD to the framework of KIP, we find that KIP using infinitely-wide convolutional neural tangent kernels (conv-NTKs) performs better compared to KIP using fully-connected NTKs. However, KIP with conv-NTKs, due to its convolutional and pooling operations, introduces an unbearable computational complexity, requiring hundreds of V100 GPUs in parallel to train, which is impractical and more importantly, such computational resources are inaccessible to many. To overcome this issue, we propose an alternative that does not require pre-training (to avoid a privacy loss) and can well capture complex information on images, as those features from conv-NKTs do, while the computational cost is manageable by a single V100 GPU. To this end, we propose DP-KIP-ScatterNet, which uses the wavelet features from Scattering networks (ScatterNet) instead of those from conv-NTKs, to perform DP-KIP at a reasonable computational cost. We implement DP-KIP-ScatterNet in -- computationally efficient -- JAX and test on several popular image datasets to show its efficacy and its superior performance compared to state-of-the art methods in image data distillation with differential privacy guarantees.
• Abstract（参考訳）: データ蒸留は、元のデータセット上で与えられた学習アルゴリズムのパフォーマンスを忠実に模倣する小さなデータセットを生成することを目的としている。 したがって、蒸留データセットは、その小さなデータサイズのおかげで、トレーニングプロセスを単純化するのに有用である。 しかし、蒸留されたデータサンプルは、一般的に人間には認識できないとしても、必ずしもプライバシーを保護しているとは限らない。 この制限に対処するために、プライバシ保存データ蒸留のための差分プライベートカーネル誘導点(DP-KIP)を導入する。 DP-SGDをKIPのフレームワークに適用するという当初の意図とは違って、無限大の畳み込みニューラルタンジェントカーネル(conv-NTK)を用いたKIPは、完全に接続されたNTKを用いたKIPよりも優れた性能を発揮する。 しかし、畳み込みとプーリング操作のため、conv-NTKを持つKIPは、数百のV100 GPUを訓練に並列に必要としており、そのような計算リソースは多くの人にアクセスできない。 この問題を克服するために、我々は、事前トレーニングを必要としない(プライバシーの喪失を避けるために)代替案を提案し、画像上の複雑な情報を、conv-NKTが行うように適切にキャプチャし、計算コストを単一のV100 GPUで管理する。 そこで本研究では,conv-NTKではなくScattering Network(ScatterNet)のウェーブレット機能を利用したDP-KIP-ScatterNetを提案する。 DP-KIP-ScatterNet を JAX で実装し,その有効性と優れた性能を示すために,差分プライバシー保証付き画像データ蒸留における最先端技術と比較した。

関連論文リスト

• Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
  準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。 本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:24:35Z)
• Efficient Privacy-Preserving Convolutional Spiking Neural Networks with FHE [1.437446768735628]
  ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。 FHEは連続非ポリノミカル関数の処理に制限がある。 準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。 FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
  論文  参考訳（メタデータ） (2023-09-16T15:37:18Z)
• CUDA: Convolution-based Unlearnable Datasets [77.70422525613084]
  現代のディープラーニングモデルの大規模なトレーニングは、Web上の公開データに大きく依存している。 最近の研究は、小さくて特殊なノイズを加えることによって、ディープラーニングモデルのためのデータを作ることを目的としている。 これらの手法は、敵の訓練(AT)に対して脆弱であり、または/または計算的に重い。
  論文  参考訳（メタデータ） (2023-03-07T22:57:23Z)
• Differentially Private Neural Tangent Kernels for Privacy-Preserving Data Generation [32.83436754714798]
  本研究は,$textitneural tangent kernels (NTKs)$,より正確には$textitempirical$ NTKs (e-NTKs) の機能の利用を検討する。 おそらく意外なことに、トレーニングされていないe-NTK機能の表現力は、公開データを使って事前トレーニングされた知覚機能から得られる機能と同等である。
  論文  参考訳（メタデータ） (2023-03-03T03:00:49Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Smooth Anonymity for Sparse Graphs [69.1048938123063]
  しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。 本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-07-13T17:09:25Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。