Fugu-MT 論文翻訳(概要): DeepReShape: Redesigning Neural Networks for Efficient Private Inference

論文の概要: DeepReShape: Redesigning Neural Networks for Efficient Private Inference

arxiv url: http://arxiv.org/abs/2304.10593v4
Date: Mon, 24 Jun 2024 15:34:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 05:18:24.634425
Title: DeepReShape: Redesigning Neural Networks for Efficient Private Inference
Title（参考訳）: DeepReShape: 効率的なプライベート推論のためのニューラルネットワークの再設計
Authors: Nandan Kumar Jha, Brandon Reagen,
Abstract要約: 近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。我々は、PIの制約下でニューラルネットワークアーキテクチャを最適化するDeepReShapeを開発した。
参考スコア（独自算出の注目度）: 3.7802450241986945
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prior work on Private Inference (PI) -- inferences performed directly on encrypted input -- has focused on minimizing a network's ReLUs, which have been assumed to dominate PI latency rather than FLOPs. Recent work has shown that FLOPs for PI can no longer be ignored and incur high latency penalties. In this paper, we develop DeepReShape, a technique that optimizes neural network architectures under PI's constraints, optimizing for both ReLUs and FLOPs for the first time. The key insight is strategically allocating channels to position the network's ReLUs in order of their criticality to network accuracy, simultaneously optimizes ReLU and FLOPs efficiency. DeepReShape automates network development with an efficient process, and we call generated networks HybReNets. We evaluate DeepReShape using standard PI benchmarks and demonstrate a 2.1% accuracy gain with a 5.2$\times$ runtime improvement at iso-ReLU on CIFAR-100 and an 8.7$\times$ runtime improvement at iso-accuracy on TinyImageNet. Furthermore, we investigate the significance of network selection in prior ReLU optimizations and shed light on the key network attributes for superior PI performance.
Abstract（参考訳）: 暗号化された入力で直接実行される推論であるPrivate Inference(PI)に関する以前の研究は、FLOPよりもPIレイテンシを支配していると推定されるネットワークのReLUの最小化に重点を置いていた。近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。本稿では、PIの制約下でニューラルネットワークアーキテクチャを最適化し、ReLUとFLOPの両方を初めて最適化するDeepReShapeを開発する。重要な洞察は、ネットワークの正確性に対する臨界性のために、ネットワークのReLUを配置するチャネルを戦略的に割り当てることであり、同時にReLUとFLOPの効率を最適化する。 DeepReShapeは効率的なプロセスでネットワーク開発を自動化する。我々は、標準PIベンチマークを用いてDeepReShapeを評価し、CIFAR-100のIso-ReLUでの5.2$\times$ランタイム改善とTinyImageNetのIso-ReLUの8.7$\times$ランタイム改善で2.1%の精度向上を示した。さらに, 従来のReLU最適化におけるネットワーク選択の重要性について検討し, PI性能を向上させるために, キーネットワーク特性に光を当てる。

関連論文リスト

Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks [0.022344294014777957]
アクティベーション(AM)は最適な入力を生成し、トレーニングされたディープニューラルネットワークで高い応答をトリガーする機能を明らかにする。本稿では,ReLU や Leaky ReLU を含む単純な関数に対して,AM が最適入力を生成できないことを示す。本稿では,後進パスに負の勾配を持つLeaky ReLUを用いて,前進パスに,元の(通常ゼロの)傾斜を保ちながら,後方パスに高い負の勾配を持つ解を提案する。
論文参考訳（メタデータ） (2024-10-22T12:38:39Z)
Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
論文参考訳（メタデータ） (2023-10-25T10:24:35Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文参考訳（メタデータ） (2023-09-12T22:28:53Z)
Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文参考訳（メタデータ） (2022-02-04T19:00:24Z)
Sphynx: ReLU-Efficient Network Design for Private Inference [49.73927340643812]
そこでは、サービスプロバイダのモデルを使用して、ユーザのデータサンプルに対する推論を実行することを目標としています。ディープネットワークのための既存のPIメソッドは、機能低下の少ない暗号的にセキュアな推論を可能にする。本稿では,畳み込みセル設計のためのマイクロサーチ手法に基づくReLU効率の高いネットワーク設計手法であるSphynxを提案する。
論文参考訳（メタデータ） (2021-06-17T18:11:10Z)
Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
論文参考訳（メタデータ） (2021-06-15T22:52:45Z)
Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文参考訳（メタデータ） (2021-06-07T11:37:03Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。