Fugu-MT 論文翻訳(概要): Approximating ReLU on a Reduced Ring for Efficient MPC-based Private Inference

論文の概要: Approximating ReLU on a Reduced Ring for Efficient MPC-based Private Inference

arxiv url: http://arxiv.org/abs/2309.04875v1
Date: Sat, 9 Sep 2023 20:49:12 GMT
ステータス: 処理完了
システム内更新日: 2023-09-12 15:48:01.985862
Title: Approximating ReLU on a Reduced Ring for Efficient MPC-based Private Inference
Title（参考訳）: 効率的なMPCに基づくプライベート推論のための還元リング上のReLUの近似
Authors: Kiwan Maeng, G. Edward Suh
Abstract要約: セキュアなマルチパーティ計算(MPC)により、ユーザは信頼できないサーバで機械学習推論をオフロードできる。 MPCベースのプライベート推論は、高い通信オーバーヘッドのため、現実世界では広く採用されていない。本稿では、ReLU通信オーバーヘッドを大幅に削減するMPCフレームワークであるHummingBirdについて述べる。
参考スコア（独自算出の注目度）: 9.093780132337354
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Secure multi-party computation (MPC) allows users to offload machine learning inference on untrusted servers without having to share their privacy-sensitive data. Despite their strong security properties, MPC-based private inference has not been widely adopted in the real world due to their high communication overhead. When evaluating ReLU layers, MPC protocols incur a significant amount of communication between the parties, making the end-to-end execution time multiple orders slower than its non-private counterpart. This paper presents HummingBird, an MPC framework that reduces the ReLU communication overhead significantly by using only a subset of the bits to evaluate ReLU on a smaller ring. Based on theoretical analyses, HummingBird identifies bits in the secret share that are not crucial for accuracy and excludes them during ReLU evaluation to reduce communication. With its efficient search engine, HummingBird discards 87--91% of the bits during ReLU and still maintains high accuracy. On a real MPC setup involving multiple servers, HummingBird achieves on average 2.03--2.67x end-to-end speedup without introducing any errors, and up to 8.64x average speedup when some amount of accuracy degradation can be tolerated, due to its up to 8.76x communication reduction.
Abstract（参考訳）: セキュアなマルチパーティ計算(MPC)により、ユーザはプライバシに敏感なデータを共有することなく、信頼できないサーバで機械学習推論をオフロードできる。強力なセキュリティ特性にもかかわらず、MPCベースのプライベート推論は、高い通信オーバーヘッドのため、現実世界では広く採用されていない。 relu層を評価するとき、mpcプロトコルは当事者間の通信量を大幅に増加させ、エンド・ツー・エンドの実行時間は非プライベートのプロトコルよりも複数の命令を遅くする。本稿では、より小さなリング上でReLUを評価するために、ビットのサブセットだけを使用することで、ReLU通信オーバーヘッドを大幅に削減するMPCフレームワークであるHummingBirdを提案する。理論的解析に基づいて、HummingBirdは、正確性に欠かせない秘密共有のビットを特定し、ReLU評価中にそれらを除外して通信を減らす。効率的な検索エンジンであるHummingBirdは、ReLU中に87～91%のビットを破棄し、高い精度を維持している。複数のサーバを含む実際のMPCセットアップでは、HummingBirdはエラーを発生させることなく平均2.03～2.67倍のエンドツーエンドのスピードアップを実現し、最大8.64倍の精度低下を許容できる平均スピードアップを実現している。

関連論文リスト

Improving BB84 Efficiency with Delayed Measurement via Quantum Memory [0.0]
我々は,BB84量子鍵分配プロトコルを改良し,その効率を向上させることを目的とした。標準のBB84プロトコルでは、受信機はランダムに選択されたベースを使用して送信者から送られたキュービットを即座に測定する。提案プロトコルでは,受信機が受信した量子ビットを量子メモリに格納し,送信機が基本選択を明らかにするまで測定を延期する。
論文参考訳（メタデータ） (2024-10-28T16:35:00Z)
MPC-Minimized Secure LLM Inference [23.719628611122996]
Marill は LLM の微調整に適応してセキュアな推論における MPC の使用を最小限にするフレームワークである。標準的な微調整と比較して、Marillは3.6-11.3倍のランタイムと2.4-6.9倍の通信性能を持つ。
論文参考訳（メタデータ） (2024-08-07T05:50:17Z)
Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
論文参考訳（メタデータ） (2024-06-19T05:26:02Z)
PermLLM: Private Inference of Large Language Models within 3 Seconds under WAN [19.014325509263536]
ChatGPTは、大きな言語モデル(LLM)時代の到来を示す。 PermLLM は ChatGLM-6B モデルを約3s/token の速度で2パーティのプライベート推論を行う。
論文参考訳（メタデータ） (2024-05-29T04:06:50Z)
SignSGD with Federated Voting [69.06621279967865]
SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
論文参考訳（メタデータ） (2024-03-25T02:32:43Z)
Banyan: Fast Rotating Leader BFT [20.52947785138998]
Banyanは、単一のラウンドトリップ時間でトランザクションを確認可能な、最初の回転型リーダステートマシンレプリケーションプロトコルである。本稿では,高速経路におけるブロック終端遅延の最適化を可能にする新しいデュアルモード機構を提案する。評価の結果,Banyanは最先端プロトコルと比較して,レイテンシを最大30%削減できることがわかった。
論文参考訳（メタデータ） (2023-12-10T12:32:58Z)
Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文参考訳（メタデータ） (2022-05-19T16:00:13Z)
Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文参考訳（メタデータ） (2022-02-04T19:00:24Z)
DeepReDuce: ReLU Reduction for Fast Private Inference [6.538025863698682]
近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
論文参考訳（メタデータ） (2021-03-02T01:16:53Z)
Lossless Compression of Efficient Private Local Randomizers [55.657133416044104]
Locally Differentially Private (LDP) Reportsは、フェデレーション設定における統計と機械学習の収集に一般的に使用されます。多くの場合、最もよく知られたldpアルゴリズムは、クライアントデバイスからサーバに強制的に大きなメッセージを送信する必要がある。これにより、LDPアルゴリズムの通信コストの削減に大きく貢献しています。
論文参考訳（メタデータ） (2021-02-24T07:04:30Z)
Reinforcement Learning Based Vehicle-cell Association Algorithm for Highly Mobile Millimeter Wave Communication [53.47785498477648]
本稿では,ミリ波通信網における車とセルの関連性について検討する。まず、ユーザ状態(VU)問題を離散的な非車両関連最適化問題として定式化する。提案手法は,複数のベースライン設計と比較して,ユーザの複雑性とVUEの20%削減の合計で最大15%のゲインが得られる。
論文参考訳（メタデータ） (2020-01-22T08:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。