論文の概要: CryptGPU: Fast Privacy-Preserving Machine Learning on the GPU
- arxiv url: http://arxiv.org/abs/2104.10949v1
- Date: Thu, 22 Apr 2021 09:21:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-23 13:42:43.150864
- Title: CryptGPU: Fast Privacy-Preserving Machine Learning on the GPU
- Title（参考訳）: CryptGPU:GPU上での高速なプライバシ保護機械学習
- Authors: Sijun Tan, Brian Knott, Yuan Tian, and David J. Wu
- Abstract要約: CryptGPUは、GPU上のすべての操作を実装するプライバシー保護機械学習のためのシステムです。
秘密共有された値を浮動小数点演算に埋め込む新しいインタフェースを導入する。
提案プロトコルは,プライベート推論の2倍から8倍,プライベートトレーニングの6倍から36倍の改善を実現している。
- 参考スコア（独自算出の注目度）: 8.633428365391666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce CryptGPU, a system for privacy-preserving machine learning that
implements all operations on the GPU (graphics processing unit). Just as GPUs
played a pivotal role in the success of modern deep learning, they are also
essential for realizing scalable privacy-preserving deep learning. In this
work, we start by introducing a new interface to losslessly embed cryptographic
operations over secret-shared values (in a discrete domain) into floating-point
operations that can be processed by highly-optimized CUDA kernels for linear
algebra. We then identify a sequence of "GPU-friendly" cryptographic protocols
to enable privacy-preserving evaluation of both linear and non-linear
operations on the GPU. Our microbenchmarks indicate that our private GPU-based
convolution protocol is over 150x faster than the analogous CPU-based protocol;
for non-linear operations like the ReLU activation function, our GPU-based
protocol is around 10x faster than its CPU analog.
With CryptGPU, we support private inference and private training on
convolutional neural networks with over 60 million parameters as well as handle
large datasets like ImageNet. Compared to the previous state-of-the-art, when
considering large models and datasets, our protocols achieve a 2x to 8x
improvement in private inference and a 6x to 36x improvement for private
training. Our work not only showcases the viability of performing secure
multiparty computation (MPC) entirely on the GPU to enable fast
privacy-preserving machine learning, but also highlights the importance of
designing new MPC primitives that can take full advantage of the GPU's
computing capabilities.
- Abstract（参考訳）: 我々は、GPU(グラフィック処理ユニット)上のすべての操作を実装するプライバシー保護機械学習システムであるCryptGPUを紹介する。
現代的なディープラーニングの成功においてGPUが重要な役割を果たすのと同じように、スケーラブルなプライバシ保護ディープラーニングを実現する上でも不可欠だ。
本稿では,線形代数のための高最適化cudaカーネルで処理可能な浮動小数点演算に,秘密共有値(離散領域)上の暗号操作をロスレスに埋め込む新しいインタフェースを導入することから始める。
次に,gpu上での線形および非線形操作のプライバシ保護評価を可能にするために,一連の"gpuフレンドリー"暗号プロトコルを識別する。
マイクロベンチマークは、私たちのプライベートGPUベースの畳み込みプロトコルが、類似のCPUベースのプロトコルよりも150倍以上高速であることを示している; ReLUアクティベーション関数のような非線形操作では、GPUベースのプロトコルは、CPUアナログの約10倍高速である。
cryptgpuでは、6000万以上のパラメータを持つ畳み込みニューラルネットワークのプライベート推論とプライベートトレーニングをサポートし、imagenetのような大規模なデータセットも処理します。
従来の最新技術と比較して,大規模モデルやデータセットを考える場合,プロトコルはプライベート推論の2倍から8倍,プライベートトレーニングの6倍から36倍改善されている。
私たちの研究は、高速なプライバシ保存機械学習を実現するために、GPU上でセキュアなマルチパーティ計算(MPC)を実行する可能性を示すだけでなく、GPUのコンピューティング能力を最大限に活用できる新しいMPCプリミティブを設計することの重要性も強調しています。
関連論文リスト
- Benchmarking GPUs on SVBRDF Extractor Model [0.0]
本研究では、より大きな入力画像(256x256)で動作するニューラルネットワークモデル上での異なるGPUの性能を区別する。
本研究では、より大きな入力画像(256x256)で動作するニューラルネットワークモデル上での異なるGPUの性能の差別化を試みた。
論文 参考訳（メタデータ） (2023-10-19T17:09:06Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。
リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。
提案手法は,MVAの計算とメモリ要求を大幅に低減する。
論文 参考訳（メタデータ） (2022-11-19T09:57:01Z) - PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
Support Vector Machines (SVM) は機械学習で広く使われている。
しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。
PLSSVMはLVMのドロップイン代替として使用できる。
論文 参考訳（メタデータ） (2022-02-25T13:24:23Z) - AxoNN: An asynchronous, message-driven parallel framework for
extreme-scale deep learning [1.5301777464637454]
AxoNNは並列ディープラーニングフレームワークで、非同期とメッセージ駆動の実行を利用して、各GPU上でのニューラルネットワーク操作をスケジュールする。
トレーニング中に定期的にデータをオフロードするスクラッチスペースとしてCPUメモリを使用することで、AxoNNはGPUメモリ使用量を4倍削減することができる。
論文 参考訳（メタデータ） (2021-10-25T14:43:36Z) - Providing Meaningful Data Summarizations Using Examplar-based Clustering
in Industry 4.0 [67.80123919697971]
我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。
提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2021-05-25T15:55:14Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z) - Large Graph Convolutional Network Training with GPU-Oriented Data
Communication Architecture [19.2129567657739]
グラフ畳み込みネットワーク(gcns)は大規模グラフベースのレコメンデーションシステムでますます採用されている。
現在のGCNトレーニングシステムは、フィーチャーテーブルをホストメモリに保持し、スパース機能の収集にCPUに依存している。
しかしこのアプローチは、ホストメモリの帯域幅とCPUに大きなプレッシャーを与えます。
本稿では,GPUスレッドがホストメモリのスパース機能に直接アクセスするGCNトレーニングのための新しいGPU指向データ通信手法を提案する。
論文 参考訳（メタデータ） (2021-03-04T21:00:17Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳（メタデータ） (2020-06-18T08:16:25Z) - ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function
Secret Sharing [2.6228228854413356]
AriaNNは、機密データに対するプライベートニューラルネットワークトレーニングと推論のための、低インタラクションのプライバシ保護フレームワークである。
我々は、ReLU、MaxPool、BatchNormといったニューラルネットワークの構築ブロックのためのプリミティブを設計する。
n-party private federated learning をサポートするための拡張として,当社のフレームワークを実装した。
論文 参考訳（メタデータ） (2020-06-08T13:40:27Z) - Out-of-Core GPU Gradient Boosting [0.0]
モデル精度やトレーニング時間を劣化させることなく、より大規模なデータセットを所定のGPUに適合させることができることを示す。
グラデーションブースティングのGPU実装としてはこれが初めてだ。
論文 参考訳（メタデータ） (2020-05-19T00:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。