論文の概要: Approximating ReLU on a Reduced Ring for Efficient MPC-based Private
Inference
- arxiv url: http://arxiv.org/abs/2309.04875v1
- Date: Sat, 9 Sep 2023 20:49:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 15:48:01.985862
- Title: Approximating ReLU on a Reduced Ring for Efficient MPC-based Private
Inference
- Title(参考訳): 効率的なMPCに基づくプライベート推論のための還元リング上のReLUの近似
- Authors: Kiwan Maeng, G. Edward Suh
- Abstract要約: セキュアなマルチパーティ計算(MPC)により、ユーザは信頼できないサーバで機械学習推論をオフロードできる。
MPCベースのプライベート推論は、高い通信オーバーヘッドのため、現実世界では広く採用されていない。
本稿では、ReLU通信オーバーヘッドを大幅に削減するMPCフレームワークであるHummingBirdについて述べる。
- 参考スコア(独自算出の注目度): 9.093780132337354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Secure multi-party computation (MPC) allows users to offload machine learning
inference on untrusted servers without having to share their privacy-sensitive
data. Despite their strong security properties, MPC-based private inference has
not been widely adopted in the real world due to their high communication
overhead. When evaluating ReLU layers, MPC protocols incur a significant amount
of communication between the parties, making the end-to-end execution time
multiple orders slower than its non-private counterpart.
This paper presents HummingBird, an MPC framework that reduces the ReLU
communication overhead significantly by using only a subset of the bits to
evaluate ReLU on a smaller ring. Based on theoretical analyses, HummingBird
identifies bits in the secret share that are not crucial for accuracy and
excludes them during ReLU evaluation to reduce communication. With its
efficient search engine, HummingBird discards 87--91% of the bits during ReLU
and still maintains high accuracy. On a real MPC setup involving multiple
servers, HummingBird achieves on average 2.03--2.67x end-to-end speedup without
introducing any errors, and up to 8.64x average speedup when some amount of
accuracy degradation can be tolerated, due to its up to 8.76x communication
reduction.
- Abstract(参考訳): セキュアなマルチパーティ計算(MPC)により、ユーザはプライバシに敏感なデータを共有することなく、信頼できないサーバで機械学習推論をオフロードできる。
強力なセキュリティ特性にもかかわらず、MPCベースのプライベート推論は、高い通信オーバーヘッドのため、現実世界では広く採用されていない。
relu層を評価するとき、mpcプロトコルは当事者間の通信量を大幅に増加させ、エンド・ツー・エンドの実行時間は非プライベートのプロトコルよりも複数の命令を遅くする。
本稿では、より小さなリング上でReLUを評価するために、ビットのサブセットだけを使用することで、ReLU通信オーバーヘッドを大幅に削減するMPCフレームワークであるHummingBirdを提案する。
理論的解析に基づいて、HummingBirdは、正確性に欠かせない秘密共有のビットを特定し、ReLU評価中にそれらを除外して通信を減らす。
効率的な検索エンジンであるHummingBirdは、ReLU中に87~91%のビットを破棄し、高い精度を維持している。複数のサーバを含む実際のMPCセットアップでは、HummingBirdはエラーを発生させることなく平均2.03~2.67倍のエンドツーエンドのスピードアップを実現し、最大8.64倍の精度低下を許容できる平均スピードアップを実現している。
関連論文リスト
- SignSGD with Federated Voting [69.06621279967865]
SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。
我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。
連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。
提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
論文 参考訳(メタデータ) (2024-03-25T02:32:43Z) - xMLP: Revolutionizing Private Inference with Exclusive Square Activation [27.092753578066294]
プライベート推論(PI)は、機密情報を漏らすことなく、ディープニューラルネットワーク(DNN)がプライベートデータを扱うことを可能にする。
DNNにおけるReLUのような非線形アクティベーションの使用は、急激なPIレイテンシにつながる可能性がある。
精度と効率の両面においてパリティを維持しつつ,二乗アクティベーションのみを利用する新しいDNNアーキテクチャであるxMLPを提案する。
論文 参考訳(メタデータ) (2024-03-12T18:46:56Z) - Fast Internet Computer Consensus [20.52947785138998]
本稿では,単一のラウンドトリップ時間でトランザクションを確認可能な,最初の回転型リーダ状態マシンレプリケーション(SMR)プロトコルを提案する。
本稿では,高速経路におけるブロック終端遅延の最適化を可能にする新しいデュアルモード機構を提案する。
我々は,Fast Internet Computer Consensus(FICC)プロトコルの正当性を証明し,そのオープンソース実装を提供する。
論文 参考訳(メタデータ) (2023-12-10T12:32:58Z) - Bicoptor 2.0: Addressing Challenges in Probabilistic Truncation for Enhanced Privacy-Preserving Machine Learning [6.733212399517445]
本稿では,既存のPPML作業における確率的トランケーションプロトコルの問題の解析と解決策の提案に焦点をあてる。
精度の面では、既存の作品のいくつかで推奨される精度の選択が誤りであることを明らかにする。
本稿では,今後の課題に対する解法と精度選択ガイドラインを提案する。
論文 参考訳(メタデータ) (2023-09-10T01:43:40Z) - MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine
Learning Inference [3.1853566662905943]
マルチパーティコンピューティング(MPC)は、セキュアなコンピューティングモデルとしてここ数年で人気を集めている。
MPCは、同型暗号化(HE)よりもオーバーヘッドが少なく、ハードウェアベースの信頼できる実行環境よりも堅牢な脅威モデルを持っている。
MPCプロトコルは、機械学習アルゴリズムに適用した場合の平文と比較して、かなりのパフォーマンス上のペナルティを被っている。
論文 参考訳(メタデータ) (2022-09-27T19:16:26Z) - On Differential Privacy for Federated Learning in Wireless Systems with
Multiple Base Stations [90.53293906751747]
複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。
本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。
提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
論文 参考訳(メタデータ) (2022-08-25T03:37:11Z) - Certified Error Control of Candidate Set Pruning for Two-Stage Relevance
Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。
提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文 参考訳(メタデータ) (2022-05-19T16:00:13Z) - Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。
その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文 参考訳(メタデータ) (2022-02-04T19:00:24Z) - DeepReDuce: ReLU Reduction for Fast Private Inference [6.538025863698682]
近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。
暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。
本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
論文 参考訳(メタデータ) (2021-03-02T01:16:53Z) - Lossless Compression of Efficient Private Local Randomizers [55.657133416044104]
Locally Differentially Private (LDP) Reportsは、フェデレーション設定における統計と機械学習の収集に一般的に使用されます。
多くの場合、最もよく知られたldpアルゴリズムは、クライアントデバイスからサーバに強制的に大きなメッセージを送信する必要がある。
これにより、LDPアルゴリズムの通信コストの削減に大きく貢献しています。
論文 参考訳(メタデータ) (2021-02-24T07:04:30Z) - Reinforcement Learning Based Vehicle-cell Association Algorithm for
Highly Mobile Millimeter Wave Communication [53.47785498477648]
本稿では,ミリ波通信網における車とセルの関連性について検討する。
まず、ユーザ状態(VU)問題を離散的な非車両関連最適化問題として定式化する。
提案手法は,複数のベースライン設計と比較して,ユーザの複雑性とVUEの20%削減の合計で最大15%のゲインが得られる。
論文 参考訳(メタデータ) (2020-01-22T08:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。