論文の概要: MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine
Learning Inference
- arxiv url: http://arxiv.org/abs/2209.13643v1
- Date: Tue, 27 Sep 2022 19:16:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 18:15:26.082435
- Title: MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine
Learning Inference
- Title(参考訳): MPC-Pipe: セキュアなマルチパーティ機械学習推論のための効率的なパイプラインスキーム
- Authors: Yongqin Wang, Rachit Rajat, Murali Annavaram
- Abstract要約: マルチパーティコンピューティング(MPC)は、セキュアなコンピューティングモデルとしてここ数年で人気を集めている。
MPCは、同型暗号化(HE)よりもオーバーヘッドが少なく、ハードウェアベースの信頼できる実行環境よりも堅牢な脅威モデルを持っている。
MPCプロトコルは、機械学習アルゴリズムに適用した場合の平文と比較して、かなりのパフォーマンス上のペナルティを被っている。
- 参考スコア(独自算出の注目度): 3.1853566662905943
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-party computing (MPC) has been gaining popularity over the past years
as a secure computing model, particularly for machine learning (ML) inference.
Compared with its competitors, MPC has fewer overheads than homomorphic
encryption (HE) and has a more robust threat model than hardware-based trusted
execution environments (TEE) such as Intel SGX. Despite its apparent
advantages, MPC protocols still pay substantial performance penalties compared
to plaintext when applied to ML algorithms. The overhead is due to added
computation and communication costs. For multiplications that are ubiquitous in
ML algorithms, MPC protocols add 32x more computational costs and 1 round of
broadcasting among MPC servers. Moreover, ML computations that have trivial
costs in plaintext, such as Softmax, ReLU, and other non-linear operations
become very expensive due to added communication. Those added overheads make
MPC less palatable to deploy in real-time ML inference frameworks, such as
speech translation.
In this work, we present MPC-Pipe, an MPC pipeline inference technique that
uses two ML-specific approaches. 1) inter-linear-layer pipeline and 2) inner
layer pipeline. Those two techniques shorten the total inference runtime for
machine learning models. Our experiments have shown to reduce ML inference
latency by up to 12.6% when model weights are private and 14.48\% when model
weights are public, compared to current MPC protocol implementations.
- Abstract(参考訳): マルチパーティコンピューティング(MPC)は、特に機械学習(ML)推論において、セキュアなコンピューティングモデルとして近年人気を集めている。
競合他社と比較して、MPCは同型暗号化(HE)よりもオーバーヘッドが少なく、Intel SGXのようなハードウェアベースの信頼できる実行環境(TEE)よりも堅牢な脅威モデルを持っている。
明らかな優位性にもかかわらず、MPCプロトコルは、MLアルゴリズムに適用した場合の平文よりもかなりパフォーマンス上のペナルティを被っている。
オーバーヘッドは計算と通信コストの増加によるものだ。
mlアルゴリズムでユビキタスな乗算では、mpcプロトコルは32倍の計算コストと1ラウンドのブロードキャストをmpcサーバに付加する。
さらに、Softmax、ReLU、その他の非線形演算などの平文での自明なコストを持つML計算は、通信の追加により非常に高価になる。
これらのオーバーヘッドを追加することで、MPCは、音声翻訳などのリアルタイムML推論フレームワークへのデプロイが楽になる。
本研究では,ML固有の2つのアプローチを用いたMPCパイプライン推論手法であるMPC-Pipeを提案する。
1)リニア層間パイプライン及び
2)内層パイプライン。
これら2つのテクニックは、マシンラーニングモデル全体の推論ランタイムを短縮する。
実験により,モデルウェイトがプライベートな場合のML推論遅延を最大12.6%削減し,モデルウェイトがパブリックな場合の14.48\%を現行のMPCプロトコル実装と比較した。
関連論文リスト
- HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM
Inference [68.59839755875252]
HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。
我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
論文 参考訳(メタデータ) (2024-02-14T18:04:36Z) - QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language
Models [57.04178959678024]
重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。
これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。
我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
論文 参考訳(メタデータ) (2023-10-13T17:15:05Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳(メタデータ) (2023-06-22T14:07:54Z) - Efficient Multi-stage Inference on Tabular Data [1.6371451481715193]
従来型の知恵は、MLコードをRPC API経由で製品コードによってクエリされるサービスに分離することを好む。
推論アルゴリズムを単純化し、それらを製品コードに組み込んでネットワーク通信を減らします。
トレーニングと推論の両方にAutoMLによる最適化を適用することで、推論遅延を1.3倍、CPUリソースを30%削減し、アプリケーションフロントエンドとMLバックエンド間のネットワーク通信を約50%削減します。
論文 参考訳(メタデータ) (2023-03-21T04:01:55Z) - Multi-Agent Automated Machine Learning [54.14038920246645]
自動機械学習(AutoML)におけるモジュールの共同最適化のためのマルチエージェント自動機械学習(MA2ML)を提案する。
MA2MLはモジュール間の協力を強化するために各エージェントにクレジットを明示的に割り当て、検索効率を向上させるために政治外の学習を取り入れている。
実験により、MA2MLは計算コストの制約の下でImageNet上で最先端のトップ1の精度が得られることが示された。
論文 参考訳(メタデータ) (2022-10-17T13:32:59Z) - A Transferable Approach for Partitioning Machine Learning Models on
Multi-Chip-Modules [8.224904698490626]
マルチチップモジュール(MCM)は、機械学習アクセラレータの設計と製造コストを削減する。
本稿では, 深い強化学習フレームワークを用いて, 潜在的に無効な候補分割を出力し, 制約解法によって補正する戦略を提案する。
実ハードウェア上でのプロダクションスケールモデルBERTの評価により,RLポリシを用いて生成したパーティショニングのスループットが6.11%,5.85%向上したことが明らかとなった。
論文 参考訳(メタデータ) (2021-12-07T23:40:28Z) - CrypTen: Secure Multi-Party Computation Meets Machine Learning [25.21435023269728]
CrypTenは、現代の機械学習フレームワークに共通する抽象化を通じて、人気のあるセキュアなMPCプリミティブを公開するソフトウェアフレームワークである。
本稿では,CrypTenの設計とテキスト分類,音声認識,画像分類のための最先端モデルの性能評価を行う。
論文 参考訳(メタデータ) (2021-09-02T14:36:55Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳(メタデータ) (2021-06-20T15:43:54Z) - Lossless Compression of Efficient Private Local Randomizers [55.657133416044104]
Locally Differentially Private (LDP) Reportsは、フェデレーション設定における統計と機械学習の収集に一般的に使用されます。
多くの場合、最もよく知られたldpアルゴリズムは、クライアントデバイスからサーバに強制的に大きなメッセージを送信する必要がある。
これにより、LDPアルゴリズムの通信コストの削減に大きく貢献しています。
論文 参考訳(メタデータ) (2021-02-24T07:04:30Z) - A Tensor Compiler for Unified Machine Learning Prediction Serving [8.362773007171118]
企業における機械学習(ML)の採用には、よりシンプルで効率的なソフトウェアインフラが必要である。
モデルのスコアリングは、モデルが一度訓練されるが、何度も使用されるため、インフラストラクチャの複雑さとコストに主要な貢献をする。
本稿では,HUMMINGBIRDを提案する。HUMMINGBIRDは,計算演算子と従来のMLモデルを小さなテンソル演算系にコンパイルする新しいモデルスコアリング手法である。
論文 参考訳(メタデータ) (2020-10-09T21:02:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。