論文の概要: Batch-oriented Element-wise Approximate Activation for Privacy-Preserving Neural Networks

• arxiv url: http://arxiv.org/abs/2403.10920v1
• Date: Sat, 16 Mar 2024 13:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 21:06:03.154706
• Title: Batch-oriented Element-wise Approximate Activation for Privacy-Preserving Neural Networks
• Title（参考訳）: プライバシ保護ニューラルネットワークのためのバッチ指向要素ワイド近似活性化
• Authors: Peng Zhang, Ao Duan, Xianglu Zou, Yuhong Liu,
• Abstract要約: ホモモルフィック暗号化(FHE)は、非線型アクティベーション計算にホモモルフィック演算を容易に適用できないという大きな課題に直面している。 バッチ指向の要素単位のデータパッキングと近似アクティベーションを提案し、非線形アクティベーション関数ReLUを近似するために線形低次を訓練する。 実験の結果、4096の入力画像上で、現在の最も効率的なチャネルワイド方式と比較して、暗号文推論を行うと、推測精度が1.65%向上し、償却推論時間が99.5%低下することがわかった。
• 参考スコア（独自算出の注目度）: 5.039738753594332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy-Preserving Neural Networks (PPNN) are advanced to perform inference without breaching user privacy, which can serve as an essential tool for medical diagnosis to simultaneously achieve big data utility and privacy protection. As one of the key techniques to enable PPNN, Fully Homomorphic Encryption (FHE) is facing a great challenge that homomorphic operations cannot be easily adapted for non-linear activation calculations. In this paper, batch-oriented element-wise data packing and approximate activation are proposed, which train linear low-degree polynomials to approximate the non-linear activation function - ReLU. Compared with other approximate activation methods, the proposed fine-grained, trainable approximation scheme can effectively reduce the accuracy loss caused by approximation errors. Meanwhile, due to element-wise data packing, a large batch of images can be packed and inferred concurrently, leading to a much higher utility ratio of ciphertext slots. Therefore, although the total inference time increases sharply, the amortized time for each image actually decreases, especially when the batch size increases. Furthermore, knowledge distillation is adopted in the training process to further enhance the inference accuracy. Experiment results show that when ciphertext inference is performed on 4096 input images, compared with the current most efficient channel-wise method, the inference accuracy is improved by 1.65%, and the amortized inference time is reduced by 99.5%.
• Abstract（参考訳）: プライバシ保存ニューラルネットワーク(PPNN)は、ユーザのプライバシを侵害することなく推論を行うように進歩しており、ビッグデータユーティリティとプライバシ保護を同時に達成するために、診断に不可欠なツールとして機能する。 PPNNを有効にするための鍵となる手法の1つとして、FHE(Fully Homomorphic Encryption)は、非線型アクティベーション計算に同型演算を容易に適用できないという大きな課題に直面している。 本稿では,非線型アクティベーション関数ReLUを近似するために,線形低次多項式を訓練するバッチ指向要素データパッキングと近似アクティベーションを提案する。 他の近似的アクティベーション手法と比較して、提案手法は、近似誤差による精度損失を効果的に軽減することができる。 一方、要素単位のデータパッキングにより、大量の画像が同時にパッケージ化され、推論されるため、暗号文スロットの有効利用率がはるかに高くなる。 したがって、総推測時間は急上昇するが、特にバッチサイズが大きくなると、各画像の補正時間が実際に減少する。 さらに、トレーニング工程で知識蒸留を採用して推論精度をさらに高める。 実験の結果、4096の入力画像上で、現在の最も効率的なチャネルワイド方式と比較して、暗号文推論を行うと、推測精度が1.65%向上し、償却推論時間が99.5%低下することがわかった。

関連論文リスト

• Disparate Impact on Group Accuracy of Linearization for Private Inference [48.27026603581436]
  多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。 また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:56:29Z)
• Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
  逆問題の正規化は、計算イメージングにおいて最重要となる。 本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。 第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:49:31Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• dugMatting: Decomposed-Uncertainty-Guided Matting [83.71273621169404]
  そこで本稿では, 明確に分解された不確かさを探索し, 効率よく効率よく改善する, 分解不確実性誘導型マッチングアルゴリズムを提案する。 提案したマッチングフレームワークは,シンプルで効率的なラベリングを用いて対話領域を決定する必要性を緩和する。
  論文  参考訳（メタデータ） (2023-06-02T11:19:50Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Reliable Prediction Intervals with Directly Optimized Inductive Conformal Regression for Deep Learning [3.42658286826597]
  予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。 PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。 本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。 ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-02T04:46:14Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。