Fugu-MT 論文翻訳(概要): AutoReP: Automatic ReLU Replacement for Fast Private Network Inference

論文の概要: AutoReP: Automatic ReLU Replacement for Fast Private Network Inference

arxiv url: http://arxiv.org/abs/2308.10134v1
Date: Sun, 20 Aug 2023 02:03:50 GMT
ステータス: 処理完了
システム内更新日: 2023-08-22 17:38:16.562084
Title: AutoReP: Automatic ReLU Replacement for Fast Private Network Inference
Title（参考訳）: AutoReP: 高速プライベートネットワーク推論のための自動ReLU置換
Authors: Hongwu Peng, Shaoyi Huang, Tong Zhou, Yukui Luo, Chenghong Wang, Zigeng Wang, Jiahui Zhao, Xi Xie, Ang Li, Tony Geng, Kaleel Mahmood, Wujie Wen, Xiaolin Xu, Caiwen Ding
Abstract要約: AutoRePは、非線形演算子を小さくし、これらの問題を緩和するための勾配に基づくアプローチである。我々は現在の最先端手法に対して6.12%(94.31%、12.9KのReLU予算、CIFAR-10)、8.39%(74.92%、12.9KのReLU予算、CIFAR-100)、9.45%(63.69%、55KのReLU予算、Tiny-ImageNet)の大幅な精度向上を示した。
参考スコア（独自算出の注目度）: 26.941667275783754
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The growth of the Machine-Learning-As-A-Service (MLaaS) market has highlighted clients' data privacy and security issues. Private inference (PI) techniques using cryptographic primitives offer a solution but often have high computation and communication costs, particularly with non-linear operators like ReLU. Many attempts to reduce ReLU operations exist, but they may need heuristic threshold selection or cause substantial accuracy loss. This work introduces AutoReP, a gradient-based approach to lessen non-linear operators and alleviate these issues. It automates the selection of ReLU and polynomial functions to speed up PI applications and introduces distribution-aware polynomial approximation (DaPa) to maintain model expressivity while accurately approximating ReLUs. Our experimental results demonstrate significant accuracy improvements of 6.12% (94.31%, 12.9K ReLU budget, CIFAR-10), 8.39% (74.92%, 12.9K ReLU budget, CIFAR-100), and 9.45% (63.69%, 55K ReLU budget, Tiny-ImageNet) over current state-of-the-art methods, e.g., SNL. Morever, AutoReP is applied to EfficientNet-B2 on ImageNet dataset, and achieved 75.55% accuracy with 176.1 times ReLU budget reduction.
Abstract（参考訳）: MLaaS(Machine-Learning-As-Service)市場の成長は、クライアントのデータプライバシとセキュリティの問題を強調している。暗号プリミティブを用いたプライベート推論(PI)技術はソリューションを提供するが、特にReLUのような非線形演算子では高い計算と通信コストがかかる。 relu操作を減らす試みは数多く存在するが、ヒューリスティックなしきい値の選択やかなりの精度の損失を引き起こす可能性がある。この研究は、非線形演算子を小さくし、これらの問題を緩和するための勾配ベースのアプローチであるAutoRePを導入している。 ReLUと多項式関数の選択を自動化し、PIアプリケーションを高速化し、分布対応多項式近似(DaPa)を導入し、ReLUを正確に近似しながらモデル表現性を維持する。実験の結果,現在のsnl法に比べて6.12% (94.31%, 12.9k relu budget, cifar-10), 8.39% (74.92%, 12.9k relu budget, cifar-100), 9.45% (63.69%, 55k relu budget, tiny-imagenet) の精度が有意に向上した。さらに、AutoRePはImageNetデータセット上のEfficientNet-B2に適用され、75.55%の精度でReLUの176.1倍の予算削減を達成した。

関連論文リスト

Any Image Restoration with Efficient Automatic Degradation Adaptation [132.81912195537433]
本研究は, 各種劣化の相似性を有効かつ包括的修復に活用し, 共同埋設を実現する統一的な方法を提案する。我々のネットワークは、モデルの複雑さをトレーニング可能なパラメータで約82%、FLOPで約85%削減しつつ、新しいSOTAレコードを設定している。
論文参考訳（メタデータ） (2024-07-18T10:26:53Z)
xMLP: Revolutionizing Private Inference with Exclusive Square Activation [27.092753578066294]
プライベート推論(PI)は、機密情報を漏らすことなく、ディープニューラルネットワーク(DNN)がプライベートデータを扱うことを可能にする。 DNNにおけるReLUのような非線形アクティベーションの使用は、急激なPIレイテンシにつながる可能性がある。精度と効率の両面においてパリティを維持しつつ,二乗アクティベーションのみを利用する新しいDNNアーキテクチャであるxMLPを提案する。
論文参考訳（メタデータ） (2024-03-12T18:46:56Z)
Linearizing Models for Efficient yet Robust Private Inference [8.547509873799994]
本稿では,RLNetを提案する。RLNetは,高遅延ReLU演算の低減による遅延改善を実現する,堅牢な線形化ネットワークのクラスである。 RLNetは、全ReLUモデルに近い精度で最大11.14倍のReLUで、クリーン、自然摂動、勾配に基づく摂動画像が得られることを示す。
論文参考訳（メタデータ） (2024-02-08T10:01:29Z)
DeepReShape: Redesigning Neural Networks for Efficient Private Inference [3.7802450241986945]
近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。我々は、PIの制約下でニューラルネットワークアーキテクチャを最適化するDeepReShapeを開発した。
論文参考訳（メタデータ） (2023-04-20T18:27:02Z)
Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference [5.293553970082942]
既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
論文参考訳（メタデータ） (2023-01-23T03:33:38Z)
Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文参考訳（メタデータ） (2022-10-31T09:46:26Z)
Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文参考訳（メタデータ） (2022-02-04T19:00:24Z)
FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文参考訳（メタデータ） (2021-07-07T13:39:08Z)
Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
論文参考訳（メタデータ） (2021-06-15T22:52:45Z)
Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文参考訳（メタデータ） (2021-01-20T06:18:38Z)
Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。