論文の概要: Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits

• arxiv url: http://arxiv.org/abs/2302.06361v2
• Date: Tue, 15 Oct 2024 16:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:58:25.009059
• Title: Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits
• Title（参考訳）: Dash: 算数回路を用いた分散プライベート畳み込みニューラルネットワーク推論の高速化
• Authors: Jonas Sander, Sebastian Berndt, Ida Bruhns, Thomas Eisenbarth,
• Abstract要約: 私たちは、悪質な攻撃者に対してセキュアな、高速で分散的なプライベート畳み込みニューラルネットワーク推論スキームであるDashを紹介します。 算術ガーブリングガジェット [BMR16] と派手なガーブリングガジェット [BCM+19] をベースとしており、Dashは算術ガーブラード回路を純粋にベースとしている。
• 参考スコア（独自算出の注目度）: 6.912820984005411
• License:
• Abstract: The adoption of machine learning solutions is rapidly increasing across all parts of society. As the models grow larger, both training and inference of machine learning models is increasingly outsourced, e.g. to cloud service providers. This means that potentially sensitive data is processed on untrusted platforms, which bears inherent data security and privacy risks. In this work, we investigate how to protect distributed machine learning systems, focusing on deep convolutional neural networks. The most common and best-performing mixed MPC approaches are based on HE, secret sharing, and garbled circuits. They commonly suffer from large performance overheads, big accuracy losses, and communication overheads that grow linearly in the depth of the neural network. To improve on these problems, we present Dash, a fast and distributed private convolutional neural network inference scheme secure against malicious attackers. Building on arithmetic garbling gadgets [BMR16] and fancy-garbling [BCM+19], Dash is based purely on arithmetic garbled circuits. We introduce LabelTensors that allow us to leverage the massive parallelity of modern GPUs. Combined with state-of-the-art garbling optimizations, Dash outperforms previous garbling approaches up to a factor of about 100. Furthermore, we introduce an efficient scaling operation over the residues of the Chinese remainder theorem representation to arithmetic garbled circuits, which allows us to garble larger networks and achieve much higher accuracy than previous approaches. Finally, Dash requires only a single communication round per inference step, regardless of the depth of the neural network, and a very small constant online communication volume.
• Abstract（参考訳）: 機械学習ソリューションの採用は、社会のあらゆる部分で急速に増加している。 モデルが大きくなるにつれて、マシンラーニングモデルのトレーニングと推論の両方が、クラウドサービスプロバイダにアウトソースされるようになってきている。 これは、潜在的に機密性の高いデータは信頼できないプラットフォームで処理され、固有のデータセキュリティとプライバシのリスクが伴うことを意味する。 本研究では,深層畳み込みニューラルネットワークに着目し,分散機械学習システムを保護する方法について検討する。 最も一般的で優れた混合MPCアプローチは、HE、シークレット共有、ガーブラード回路に基づいている。 それらは一般的に、大きなパフォーマンスオーバーヘッド、大きな精度損失、ニューラルネットワークの深さで線形に成長する通信オーバーヘッドに悩まされる。 これらの問題を改善するために、Dashは、悪意のある攻撃者に対してセキュアな、高速で分散されたプライベート畳み込みニューラルネットワーク推論スキームである。 算術ガーブリングガジェット [BMR16] と派手なガーブリングガジェット [BCM+19] をベースとしており、Dashは算術ガーブラード回路を純粋にベースとしている。 現代のGPUの大規模並列性を活用できる LabelTensors を導入している。 最先端のガーブリング最適化と組み合わせて、Dashは従来のガーブリングアプローチを約100倍に上回っている。 さらに,中国の剰余定理表現の残余に対する効率的なスケーリング操作を算術的なガーブレード回路に導入し,より大きなネットワークをガーブレーブし,従来の手法よりもはるかに高い精度を実現する。 最後に、Dashはニューラルネットワークの深さに関係なく、推論ステップ毎に1回の通信ラウンドのみを必要とし、非常に小さなオンライン通信ボリュームを必要とする。

関連論文リスト

• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Network Anomaly Detection Using Federated Learning [0.483420384410068]
  我々は、効率的なネットワーク異常検出を可能にする堅牢でスケーラブルなフレームワークを導入する。 複数の参加者が共同でグローバルモデルをトレーニングするフェデレーション学習を活用します。 提案手法はUNSW-NB15データセットのベースライン機械学習手法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-13T20:16:30Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• Robust error bounds for quantised and pruned neural networks [1.8083503268672914]
  機械学習のアルゴリズムは、データとアルゴリズムを保存し、訓練し、デバイス上でローカルに分散化しようとしている。 デバイスハードウェアは、このセットアップにおけるモデル機能の主要なボトルネックとなり、スリム化され、より効率的なニューラルネットワークの必要性を生み出します。 半確定プログラムを導入して、ニューラルネットワークのプルーニングや定量化による最悪のケースエラーをバインドする。 計算されたバウンダリは、安全クリティカルなシステムにデプロイした場合に、これらのアルゴリズムの性能に確実性をもたらすことが期待されている。
  論文  参考訳（メタデータ） (2020-11-30T22:19:44Z)
• CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity Edge Devices [3.812706195714961]
  我々は、NeuroEvolutionary(NE)学習と推論を実行するWiFiを介して通信するRaspberry Piのプロトタイプシステムを構築した。 本研究では,このような協調システムの性能を評価し,システムの異なる配置の計算/通信特性について詳述する。
  論文  参考訳（メタデータ） (2020-08-27T01:49:21Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• SuperNet -- An efficient method of neural networks ensembling [0.0]
  ニューラルネットワークアンサンブルの主な欠点は、計算的に非常に要求されていることである。 マスター論文の目標は、アンサンブル生成に必要な実行時間を短縮することである。
  論文  参考訳（メタデータ） (2020-03-29T13:47:13Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。