論文の概要: Exploiting Unstructured Sparsity in Fully Homomorphic Encrypted DNNs

• arxiv url: http://arxiv.org/abs/2503.09184v1
• Date: Wed, 12 Mar 2025 09:24:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:29.208271
• Title: Exploiting Unstructured Sparsity in Fully Homomorphic Encrypted DNNs
• Title（参考訳）: 完全同型暗号化DNNにおける非構造空間の爆発
• Authors: Aidan Ferguson, Perry Gibson, Lara D'Agata, Parker McLeod, Ferhat Yaman, Amitabh Das, Ian Colbert, José Cano,
• Abstract要約: プライバシーに敏感な環境でのディープニューラルネットワーク(DNN)は、完全同型暗号化(FHE)における計算オーバーヘッドによって制約される 本稿では,FHE行列乗算法における非構造的空間性について,モデルの精度要件を維持しつつ,その負担を軽減する方法として検討する。 本研究では,任意の行列乗法で空間空間を利用でき,全ての空間領域において,ベースラインナイーブアルゴリズムと比較して実行時利益が得られることを示した。
• 参考スコア（独自算出の注目度）: 0.37570612254620583
• License:
• Abstract: The deployment of deep neural networks (DNNs) in privacy-sensitive environments is constrained by computational overheads in fully homomorphic encryption (FHE). This paper explores unstructured sparsity in FHE matrix multiplication schemes as a means of reducing this burden while maintaining model accuracy requirements. We demonstrate that sparsity can be exploited in arbitrary matrix multiplication, providing runtime benefits compared to a baseline naive algorithm at all sparsity levels. This is a notable departure from the plaintext domain, where there is a trade-off between sparsity and the overhead of the sparse multiplication algorithm. In addition, we propose three sparse multiplication schemes in FHE based on common plaintext sparse encodings. We demonstrate the performance gain is scheme-invariant; however, some sparse schemes vastly reduce the memory storage requirements of the encrypted matrix at high sparsity values. Our proposed sparse schemes yield an average performance gain of 2.5x at 50% unstructured sparsity, with our multi-threading scheme providing a 32.5x performance increase over the equivalent single-threaded sparse computation when utilizing 64 cores.
• Abstract（参考訳）: プライバシーに敏感な環境でのディープニューラルネットワーク(DNN)の展開は、完全に同型暗号化(FHE)における計算オーバーヘッドによって制限される。 本稿では,FHE行列乗算法における非構造的空間性について,モデルの精度要件を維持しつつ,その負担を軽減する方法として検討する。 本研究では,任意の行列乗法で空間空間を利用でき,全ての空間領域において,ベースラインナイーブアルゴリズムと比較して実行時利益が得られることを示した。 これは平文領域からの顕著な離脱であり、スパース乗算アルゴリズムの重複性とオーバーヘッドとの間にはトレードオフがある。 さらに、一般的な平文スパース符号化に基づくFHEにおける3つのスパース乗算スキームを提案する。 性能ゲインがスキーム不変であることを実証するが、スパーススキームによっては高いスパース値で暗号化された行列のメモリ記憶要求を大幅に低減する。 提案したスパース方式は,64コアを利用する場合の等価シングルスレッドスパース計算よりも平均2.5倍,50%非構造領域で平均2.5倍の性能向上を実現する。

関連論文リスト

• Accelerating spherical K-means clustering for large-scale sparse document data [0.7366405857677226]
  本稿では,大規模かつ高次元のスパース文書データセットを対象とした球面K平均クラスタリングアルゴリズムを提案する。 提案手法は, 大規模文書において, 最先端技術を用いたアルゴリズムと比較して, 高速性能を効果的に達成できることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-11-18T05:50:58Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Efficient Pruning for Machine Learning Under Homomorphic Encryption [2.2817485071636376]
  プライバシ保護機械学習(PPML)ソリューションが広く普及している。 多くの人は、モデルとデータの機密性を提供する同型暗号化(HE)に頼っているが、大きなレイテンシとメモリ要求のコストがかかる。 我々は、PPML推論のレイテンシとメモリを削減するために、タイルテンソルと呼ばれるパッキング技術の上に、新しいプルーニング手法を含むHE-PExというフレームワークを導入する。
  論文  参考訳（メタデータ） (2022-07-07T15:49:24Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• Memristive Stochastic Computing for Deep Learning Parameter Optimization [1.6344851071810071]
  コンピューティング(sc)は、ビットストリームとデジタルロジックを用いた様々な演算処理の低コストかつ低消費電力化を可能にするコンピューティングパラダイムである。 40nmの補完金属酸化物半導体(CMOS)プロセスを使用することで、拡張可能なアーキテクチャは1.55mm$2$を占め、文字認識タスクのために訓練されている間、畳み込みニューラルネットワーク(CNN)のパラメータを最適化する際に約167$mu$Wを消費します。
  論文  参考訳（メタデータ） (2021-03-11T07:10:32Z)
• Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration [14.958793135751149]
  モバイルデバイス上の畳み込みニューラルネットワーク(CNN)推論は、低精度(INT8)汎用行列乗算(GEMM)の効率的なハードウェアアクセラレーションを必要とする CNN推論のGEMMをさらに加速する一般的な手法であり、特に、構造的スパーシリティは予測可能な負荷分散と非常に低いインデックスオーバーヘッドの利点がある。 ハードウェアの高利用を保ちながら、さまざまな分散レベルのサポートを提供する方法について、構造的疎結合で重要なアーキテクチャ上の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-04T20:17:42Z)
• EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
  最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている 本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。 このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2020-08-24T14:48:23Z)
• PERMDNN: Efficient Compressed DNN Architecture with Permuted Diagonal Matrices [35.90103072918056]
  ディープニューラルネットワーク(DNN)は、最も重要で人気のある人工知能(AI)技術として登場した。 モデルサイズの成長は、基盤となるコンピューティングプラットフォームにとって重要なエネルギー効率の課題である。 本稿では、ハードウェアフレンドリーな構造化DNNモデルの生成と実行のための新しいアプローチであるPermDNNを提案する。
  論文  参考訳（メタデータ） (2020-04-23T02:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。