論文の概要: Selective Network Linearization for Efficient Private Inference

• arxiv url: http://arxiv.org/abs/2202.02340v1
• Date: Fri, 4 Feb 2022 19:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 17:48:46.379332
• Title: Selective Network Linearization for Efficient Private Inference
• Title（参考訳）: 効率的なプライベート推論のための選択的ネットワーク線形化
• Authors: Minsu Cho, Ameya Joshi, Siddharth Garg, Brandon Reagen, Chinmay Hegde
• Abstract要約: 本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
• 参考スコア（独自算出の注目度）: 49.937470642033155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Private inference (PI) enables inference directly on cryptographically secure data. While promising to address many privacy issues, it has seen limited use due to extreme runtimes. Unlike plaintext inference, where latency is dominated by FLOPs, in PI non-linear functions (namely ReLU) are the bottleneck. Thus, practical PI demands novel ReLU-aware optimizations. To reduce PI latency we propose a gradient-based algorithm that selectively linearizes ReLUs while maintaining prediction accuracy. We evaluate our algorithm on several standard PI benchmarks. The results demonstrate up to $4.25\%$ more accuracy (iso-ReLU count at 50K) or $2.2\times$ less latency (iso-accuracy at 70\%) than the current state of the art and advance the Pareto frontier across the latency-accuracy space. To complement empirical results, we present a "no free lunch" theorem that sheds light on how and when network linearization is possible while maintaining prediction accuracy.
• Abstract（参考訳）: プライベート推論(PI)は、暗号化されたセキュアなデータに直接推論を可能にする。 多くのプライバシー問題に対処すると約束されているが、極端なランタイムのために使用は限られている。 遅延がFLOPに支配される平文推論とは異なり、PI非線型関数(すなわちReLU)ではボトルネックとなる。 したがって、実用的なPIは、新しいReLU対応最適化を必要とする。 PIレイテンシを低減するために,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 いくつかの標準PIベンチマークでアルゴリズムを評価する。 その結果、最大4.25\%$の精度(50kのiso-relu数)または2.2\times$のレイテンシ(70\%のiso-accuracy)が現在の技術よりも低くなり、レイテンシー-精度の分野をまたいでparetoのフロンティアが前進した。 実験結果を補完するために,予測精度を維持しつつネットワーク線形化が可能か,いつ可能かを示す「no free lunch」定理を提案する。

関連論文リスト

• xMLP: Revolutionizing Private Inference with Exclusive Square Activation [27.092753578066294]
  プライベート推論(PI)は、機密情報を漏らすことなく、ディープニューラルネットワーク(DNN)がプライベートデータを扱うことを可能にする。 DNNにおけるReLUのような非線形アクティベーションの使用は、急激なPIレイテンシにつながる可能性がある。 精度と効率の両面においてパリティを維持しつつ,二乗アクティベーションのみを利用する新しいDNNアーキテクチャであるxMLPを提案する。
  論文  参考訳（メタデータ） (2024-03-12T18:46:56Z)
• DeepReShape: Redesigning Neural Networks for Efficient Private Inference [3.7802450241986945]
  近年の研究では、PIのFLOPは無視できず、高いレイテンシのペナルティを負うことが示されている。 我々は、PIの制約下でニューラルネットワークアーキテクチャを最適化するDeepReShapeを開発した。
  論文  参考訳（メタデータ） (2023-04-20T18:27:02Z)
• Reliable Prediction Intervals with Directly Optimized Inductive Conformal Regression for Deep Learning [3.42658286826597]
  予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。 PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。 本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。 ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-02T04:46:14Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
  我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。 具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。 最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
  論文  参考訳（メタデータ） (2021-06-15T22:52:45Z)
• DeepReDuce: ReLU Reduction for Fast Private Inference [6.538025863698682]
  近年のプライバシに関する懸念が高まり、研究者はプライベートニューラルネットワークの手法を考案した。 暗号化データのコンピューティングは、急激なレイテンシペナルティを伴います。 本稿では,プライベートな推論遅延を低減するために,ReLUを不正に除去するための最適化セットであるDeepReDuceを提案する。
  論文  参考訳（メタデータ） (2021-03-02T01:16:53Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• StrObe: Streaming Object Detection from LiDAR Packets [73.27333924964306]
  ローリングシャッターのLiDARはパケットのストリームとして出力され、それぞれ360degのカバレッジのセクターをカバーする。 現代の認識アルゴリズムは、データを処理する前に全スイープが構築されるのを待つ。 本稿では,LiDARパケットを取り込み,全スイープが構築されるのを待たずに検出ストリームを出力することで,レイテンシを最小化する新しいアプローチであるStrObeを提案する。
  論文  参考訳（メタデータ） (2020-11-12T14:57:44Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Towards Streaming Perception [70.68520310095155]
  本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。 この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。 本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
  論文  参考訳（メタデータ） (2020-05-21T01:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。