論文の概要: Low-Cost Multi-Precision Systolic Arrays for Accelerating FHE NTTs on AI ASICs
- arxiv url: http://arxiv.org/abs/2606.19866v1
- Date: Thu, 18 Jun 2026 07:26:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.696213
- Title: Low-Cost Multi-Precision Systolic Arrays for Accelerating FHE NTTs on AI ASICs
- Title(参考訳): AIASIC上でのFHE NTTの高速化のための低コストマルチ精度シストリックアレイ
- Authors: George Alexakis, Dimitrios Schoinianakis, Giorgos Dimitrakopoulos,
- Abstract要約: ホモモルフィック暗号化(FHE)は、堅牢なデータのプライバシを保証するが、計算オーバーヘッドの禁止に悩まされる。
Processing Units (TPU)のようなAIハードウェア上でFHEを加速することは有望だが、基本的には精度のミスマッチによって制限されている。
低精度行列乗算と同期して完全精度の出力再構成を行う最小限のマルチ精度シストリックアレイを提案する。
- 参考スコア(独自算出の注目度): 0.3186130813218338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully Homomorphic Encryption (FHE) ensures robust data privacy but suffers from prohibitive computational overhead. Accelerating FHE on AI hardware like Tensor Processing Units (TPUs) is promising, yet fundamentally limited by a precision mismatch: TPUs are optimized for 8-bit arithmetic, whereas FHE and its critical parts such as the Number Theoretic Transform (NTT), demand high precision. Current approaches bridge this gap using matrix decomposition to execute NTT computations on low-precision matrix engines. However, reconstructing the full-precision results requires shift-and-add accumulation that does not match the dataflow of matrix multiplication. This forces offloading full-precision reconstruction from matrix engines to vector processors that disrupts the matrix multiplication dataflow, creating significant performance bottleneck. To resolve this limitation, we propose a minimally modified multi-precision systolic array that performs full-precision output reconstruction natively within the array in sync with low-precision matrix multiplication under a uniform dataflow. Synthesized at 7nm with OpenRoad, our design incurs negligible hardware overhead. Cycle-accurate simulations using SCALE-Sim demonstrate that natively executing NTTs on the proposed architecture achieves at least 1.33x speedup, for transform sizes 2^12 to 2^16 on 128x128 matrix engines, successfully enabling standard AI hardware to support high-precision FHE acceleration.
- Abstract(参考訳): FHE(Fully Homomorphic Encryption)は、堅牢なデータのプライバシを保証するが、計算オーバーヘッドの禁止に悩まされる。
TPUは8ビット演算に最適化されているのに対して、NTT(Number Theoretic Transform)のようなFHEとその重要な部分は高い精度を要求する。
現在のアプローチでは、行列分解を用いてこのギャップを橋渡し、低精度行列エンジン上でNTT計算を実行する。
しかし、完全精度の結果を再構築するには、行列乗算のデータフローにマッチしないシフト・アンド・加算の蓄積が必要となる。
これにより、行列エンジンから行列乗算データフローを乱すベクトルプロセッサへの完全精度再構成がオフロードされ、大きなパフォーマンスボトルネックが生じる。
この制限を解決するために、一様データフロー下での低精度行列乗算と同期して、配列内の完全精度出力をネイティブに再現する最小限のマルチ精度シストリックアレイを提案する。
OpenRoadで7nmで合成すると、ハードウェアのオーバーヘッドは無視できる。
SCALE-Simを用いたサイクル精度シミュレーションでは、128x128マトリクスエンジンの変換サイズ2^12から2^16に対して,提案アーキテクチャ上でNTTをネイティブに実行することで,少なくとも1.33倍の高速化を実現している。
関連論文リスト
- BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳(メタデータ) (2026-04-05T04:25:07Z) - BAPS: A Fine-Grained Low-Precision Scheme for Softmax in Attention via Block-Aware Precision reScaling [12.43240392025487]
特定の8ビット浮動小数点フォーマット (HiF8) とブロック対応のソフトマックス再スケーリングを利用した新しい低精度ワークフローを提案する。
我々のアルゴリズムの革新は、モデルの精度を著しく損なうことなく、低精度のソフトマックスを実現する。
我々の研究は、チップ面積を増大させることなく、エンドツーエンドの推論スループットを2倍にする方法を開拓する。
論文 参考訳(メタデータ) (2026-02-02T13:12:18Z) - NeuMatC: A General Neural Framework for Fast Parametric Matrix Operation [75.91285900600549]
我々は、一般的なパラメトリック行列演算タスクをエレガントに扱うtextbftextitNeural Matrix Computation Framework (NeuMatC)を提案する。
NeuMatCは、パラメータから対応する行列演算結果への低ランクかつ連続的なマッピングを教師なしで学習する。
合成と実世界の両方のデータセットの実験結果は、NeuMatCの有望な性能を示している。
論文 参考訳(メタデータ) (2025-11-28T07:21:17Z) - Orthogonal Finetuning Made Scalable [92.34573849209238]
OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。
ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。
本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。
これらの変更により、OFTv2は最大10倍の高速トレーニングと3倍のGPUメモリ使用率を達成することができる。
論文 参考訳(メタデータ) (2025-06-24T17:59:49Z) - The Cambrian Explosion of Mixed-Precision Matrix Multiplication for Quantized Deep Learning Inference [0.9954176833299684]
ディープラーニング(DL)は、従来の64ビット浮動小数点(FP64)計算から、縮小精度のフォーマットへと変化した。
本稿では,従来のハイパフォーマンスなgemを改訂し,それを混合精度整数算術に適用するための戦略について述べる。
論文 参考訳(メタデータ) (2025-06-13T12:40:16Z) - Leveraging ASIC AI Chips for Homomorphic Encryption [12.209134343914537]
ホモモルフィック暗号化(HE)は強力なプライバシー保証を提供するが、平文での計算よりもはるかに多くのリソースを必要とする。
このレイテンシ問題を緩和するためにアクセラレータが登場したが、ASICのコストが高い。
HEプリミティブは、すでにクラウドに広くデプロイされているTPUのような既存のASIC AIアクセラレータ上で、AIオペレータに変換され、アクセラレーションされることを示す。
論文 参考訳(メタデータ) (2025-01-13T04:08:14Z) - DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures
using Lookup Tables [49.965024476651706]
DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。
実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
論文 参考訳(メタデータ) (2023-04-18T15:13:10Z) - LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。
175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
論文 参考訳(メタデータ) (2022-08-15T17:08:50Z) - Direct Spatial Implementation of Sparse Matrix Multipliers for Reservoir
Computing [0.0]
貯水池の計算システムは、非常に大きくてスパースな固定行列の繰り返し乗算に依存している。
これらの固定行列の直接実装は、計算で実行される作業を最小化する。
ビットシリアル行列乗算器の構造を提示し、正則符号付き桁表現を用いて論理利用をさらに削減する。
論文 参考訳(メタデータ) (2021-01-21T23:16:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。