論文の概要: All Rivers Run to the Sea: Private Learning with Asymmetric Flows

• arxiv url: http://arxiv.org/abs/2312.05264v3
• Date: Sat, 30 Mar 2024 00:11:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:45:23.953623
• Title: All Rivers Run to the Sea: Private Learning with Asymmetric Flows
• Title（参考訳）: すべての川が海に向かって走る:非対称な流れを持つプライベートラーニング
• Authors: Yue Niu, Ramy E. Ali, Saurav Prakash, Salman Avestimehr,
• Abstract要約: 我々は、非プライベートな集中型トレーニングとしてモデルパフォーマンスに匹敵する、新しいプライベートトレーニングと推論フレームワークであるDeltaを提案する。 デルタは情報に敏感な表現を低次元空間に埋め込み、情報に敏感な部分を高次元の残留物に押し込む。 理論的には、Deltaは公共環境における差分プライバシーを保証し、プライベート環境における複雑さを大幅に低減する。
• 参考スコア（独自算出の注目度）: 18.112781631754203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data privacy is of great concern in cloud machine-learning service platforms, when sensitive data are exposed to service providers. While private computing environments (e.g., secure enclaves), and cryptographic approaches (e.g., homomorphic encryption) provide strong privacy protection, their computing performance still falls short compared to cloud GPUs. To achieve privacy protection with high computing performance, we propose Delta, a new private training and inference framework, with comparable model performance as non-private centralized training. Delta features two asymmetric data flows: the main information-sensitive flow and the residual flow. The main part flows into a small model while the residuals are offloaded to a large model. Specifically, Delta embeds the information-sensitive representations into a low-dimensional space while pushing the information-insensitive part into high-dimension residuals. To ensure privacy protection, the low-dimensional information-sensitive part is secured and fed to a small model in a private environment. On the other hand, the residual part is sent to fast cloud GPUs, and processed by a large model. To further enhance privacy and reduce the communication cost, Delta applies a random binary quantization technique along with a DP-based technique to the residuals before sharing them with the public platform. We theoretically show that Delta guarantees differential privacy in the public environment and greatly reduces the complexity in the private environment. We conduct empirical analyses on CIFAR-10, CIFAR-100 and ImageNet datasets and ResNet-18 and ResNet-34, showing that Delta achieves strong privacy protection, fast training, and inference without significantly compromising the model utility.
• Abstract（参考訳）: データプライバシは、クラウドサービスのマシンラーニングサービスプラットフォームにおいて、センシティブなデータがサービスプロバイダに公開される場合に、大きな関心事になります。 プライベートコンピューティング環境(セキュアなエンクレーブなど)や暗号化アプローチ(ホモモルフィック暗号化など)は、強力なプライバシ保護を提供する一方で、同社のコンピューティングパフォーマンスは、クラウドGPUと比較しても低い。 計算性能の高いプライバシ保護を実現するために,非プライベート集中型トレーニングと同等のモデル性能を備えた,新たなプライベートトレーニングおよび推論フレームワークであるDeltaを提案する。 Deltaは2つの非対称なデータフローを特徴としている。 主部分は小さなモデルに流れ、残余は大きなモデルにオフロードされる。 具体的には、デルタは情報に敏感な表現を低次元空間に埋め込み、情報に敏感な部分を高次元の残留物に押し込む。 プライバシー保護を確保するため、低次元情報感度部を保護し、プライベート環境で小さなモデルに供給する。 一方、残部は高速なクラウドGPUに送られ、大きなモデルで処理される。 プライバシーをさらに強化し、通信コストを削減するため、Deltaはパブリックプラットフォームと共有する前に、DPベースのテクニックとともにランダムなバイナリ量子化技術を適用している。 理論的には、Deltaは公共環境における差分プライバシーを保証し、プライベート環境における複雑さを大幅に低減する。 我々は、CIFAR-10、CIFAR-100、ImageNetデータセット、ResNet-18、ResNet-34に関する実証分析を行い、Deltaがモデルユーティリティを著しく妥協することなく、強力なプライバシ保護、高速トレーニング、推論を実現することを示す。

関連論文リスト

• FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation [4.772368796656325]
  実際には、制御されたデータアクセスは、多くの産業や研究環境でデータプライバシを保護する主要な方法である。 我々は,FT-PrivacyScoreのプロトタイプを開発し,モデル微調整作業に参加する際のプライバシーリスクを効率よく定量的に推定できることを実証した。
  論文  参考訳（メタデータ） (2024-10-30T02:41:26Z)
• Lancelot: Towards Efficient and Privacy-Preserving Byzantine-Robust Federated Learning within Fully Homomorphic Encryption [10.685816010576918]
  我々は,データプライバシを保ちながら悪意あるクライアント活動を保護するために,完全同型暗号化(FHE)を利用する,革新的で計算効率のよいBRFLフレームワークであるLancelotを提案する。 医用画像診断や広く使われている公開画像データセットを含む大規模なテストでは、Lancelotが既存の手法を著しく上回り、データのプライバシを維持しながら、処理速度を20倍以上に向上させています。
  論文  参考訳（メタデータ） (2024-08-12T14:48:25Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Differentially Private Synthetic Data Generation via Lipschitz-Regularised Variational Autoencoders [3.7463972693041274]
  生成モデルが個々のトレーニング記録の多くの詳細を記憶する傾向があることは、しばしば見落とされがちである。 本稿では,生成モデルにおける本質を直接活用するデータ生成手法について検討する。
  論文  参考訳（メタデータ） (2023-04-22T07:24:56Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• How Much Privacy Does Federated Learning with Secure Aggregation Guarantee? [22.7443077369789]
  フェデレートラーニング(FL)は、複数のユーザに保存されたデータに対して、プライバシ保護機械学習を可能にすることへの関心が高まっている。 データはユーザのデバイスを離れることはないが、トレーニングデータに対する重要な計算がトレーニングされたローカルモデル形式で共有されるため、プライバシは保証されない。 セキュアアグリゲーション(SA)は、FLのプライバシーを守るためのフレームワークとして開発されている。
  論文  参考訳（メタデータ） (2022-08-03T18:44:17Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Federated Learning in Adversarial Settings [0.8701566919381224]
  フェデレートされた学習スキームは、堅牢性、プライバシ、帯域幅効率、モデルの精度の異なるトレードオフを提供します。 この拡張は、厳格なプライバシー要件があっても、プライベートではないがロバストなスキームと同じくらい効率的に機能することを示す。 これは差別化プライバシとロバストネスの基本的なトレードオフの可能性を示している。
  論文  参考訳（メタデータ） (2020-10-15T14:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。