論文の概要: HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party Computation

• arxiv url: http://arxiv.org/abs/2110.15440v1
• Date: Thu, 28 Oct 2021 21:15:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 15:05:26.365963
• Title: HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party Computation
• Title（参考訳）: HD-cos Networks: セキュアなマルチパーティ計算のための効率的なニューラルネットワーク
• Authors: Wittawat Jitkrittum, Michal Lukasik, Ananda Theertha Suresh, Felix Yu, Gang Wang
• Abstract要約: マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。 MPC設定下でニューラルネットワークのトレーニングと推論について検討する。 どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
• 参考スコア（独自算出の注目度）: 26.67099154998755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-party computation (MPC) is a branch of cryptography where multiple non-colluding parties execute a well designed protocol to securely compute a function. With the non-colluding party assumption, MPC has a cryptographic guarantee that the parties will not learn sensitive information from the computation process, making it an appealing framework for applications that involve privacy-sensitive user data. In this paper, we study training and inference of neural networks under the MPC setup. This is challenging because the elementary operations of neural networks such as the ReLU activation function and matrix-vector multiplications are very expensive to compute due to the added multi-party communication overhead. To address this, we propose the HD-cos network that uses 1) cosine as activation function, 2) the Hadamard-Diagonal transformation to replace the unstructured linear transformations. We show that both of the approaches enjoy strong theoretical motivations and efficient computation under the MPC setup. We demonstrate on multiple public datasets that HD-cos matches the quality of the more expensive baselines.
• Abstract（参考訳）: マルチパーティ計算 (multi-party computation, mpc) は暗号学の一分野であり、複数の非コレーディングパーティが関数をセキュアに計算するためのよく設計されたプロトコルを実行する。 非解決パーティの仮定により、MPCは、当事者が計算プロセスから機密情報を学習しないことを保証し、プライバシに敏感なユーザーデータを含むアプリケーションにとって魅力的なフレームワークとなる。 本稿では,MPC設定下でのニューラルネットワークのトレーニングと推論について検討する。 reluアクティベーション関数やマトリックスベクトル乗算といったニューラルネットワークの基本的な操作は、マルチパーティ通信のオーバーヘッドの増加によって計算に非常に費用がかかるため、これは難しい。 これに対処するために,我々はhd-cosネットワークを提案する。 1)活性化機能としてのコサイン 2) アダマール対角変換は非構造線型変換を置き換える。 いずれの手法も,mpc 環境下での強力な理論的動機付けと効率的な計算を享受できることを示す。 hd-cosがより高価なベースラインの品質に合致する、複数のパブリックデータセットで実証する。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• Enhancing MOTION2NX for Efficient, Scalable and Secure Image Inference using Convolutional Neural Networks [4.407841002228536]
  我々は,C++ベースのMOTION2NXフレームワーク上に実装されたABY2.0 SMPCプロトコルを用いて,半正直なセキュリティを備えたセキュア畳み込みニューラルネットワーク(CNN)推論アプリケーションを開発した。 また、各CNN層における計算を複数のチャンクに分割する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-29T09:50:21Z)
• Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference of Deep Learning [5.41530201129053]
  本稿では,新しい暗記ベース推論(MBI)を提案する。 具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。 低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。 計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
  論文  参考訳（メタデータ） (2023-07-14T21:01:59Z)
• Fast and Private Inference of Deep Neural Networks by Co-designing Activation Functions [26.125340303868335]
  現在のアプローチは大きな推論時間に悩まされている。 推論モデルと精度を競合させる新しいトレーニングアルゴリズムを提案する。 我々の評価では、最大2300万のパラメータを持つ大規模モデルにおいて、推論時間の3ドルから110倍のスピードアップが示されています。
  論文  参考訳（メタデータ） (2023-06-14T14:38:25Z)
• PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party Computation Based Private Inference [23.795457990555878]
  プライバシー保護型ディープラーニング(DL)計算を可能にするために,セキュアなマルチパーティ計算(MPC)が議論されている。 MPCは計算オーバーヘッドが非常に高く、大規模システムではその人気を阻害する可能性がある。 本研究では,MPC比較プロトコルとハードウェアアクセラレーションの協調オーバーヘッド削減のための,PolyMPCNetという体系的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-09-20T02:47:37Z)
• Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
  本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。 この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。 GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2022-04-18T21:45:13Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• SIRNN: A Math Library for Secure RNN Inference [6.323743920987275]
  ルックアップテーブルと混合ビット幅に大きく依存する数学関数のための新しい特殊な2PCプロトコルを提供します。 数学関数のプロトコルは、前よりも423倍少ないデータを通信します。 SIRNNはエンドツーエンドのセキュアな2パーティ推論のためのライブラリです。
  論文  参考訳（メタデータ） (2021-05-10T10:04:46Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。