論文の概要: Ascend-RaBitQ: Heterogeneous NPU-CPU Acceleration of Billion-Scale Similarity Search with 1-bit Quantization

• arxiv url: http://arxiv.org/abs/2605.16007v1
• Date: Fri, 15 May 2026 14:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.340595
• Title: Ascend-RaBitQ: Heterogeneous NPU-CPU Acceleration of Billion-Scale Similarity Search with 1-bit Quantization
• Title（参考訳）: Ascend-RaBitQ: 1ビット量子化による数十億スケール類似検索の不均一NPU-CPU高速化
• Authors: Fujun He, Chuyue Ye, Huaxiang Cai, Zetao Lv, Baolong Cui, Wenru Yan, Chao Zhan, Zigang Zhang, Hao Yi, Jie Xiang, Xiabing Li, Yuhang Gai, Ziyang Zhang, Pengfei Zheng, Yunfei Du,
• Abstract要約: In this present Ascend-RaBitQ, a first heterogeneous NPU- CPU optimized IVF-RaBitQ system for billion-scale vector search。 3段階のヘテロジニアスパイプラインは、1ビット量子化されたベクトル上でのAI Coreアクセラレーション粗いランク付け、オンデバイスAI CPU Top-k処理、フル精度ベクトル上でのホストCPUファインランク付けを含む。 Ascend-RaBitQは、CPUベースラインよりも3.0*から62.8*高速なインデックス構築、最速のCPU IVF-RaBitQ実装よりも4.6*スループットの改善、数学的に等価なCPUより100*以上を実現している。
• 参考スコア（独自算出の注目度）: 18.17338809219932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector similarity search is a critical component of modern AI systems, but traditional CPU-based implementations face fundamental scalability bottlenecks for billion-scale corpora due to prohibitive computational overhead and memory bandwidth limitations. While Neural Processing Units (NPUs) offer orders-of-magnitude higher compute density, existing CPU/GPU-optimized 1-bit RaBitQ quantization implementations cannot be directly ported to NPU architectures due to fundamental hardware mismatches, and homogeneous design paradigms struggle to simultaneously balance accuracy, memory footprint, and performance. This paper presents Ascend-RaBitQ, the first heterogeneous NPU-CPU optimized IVF-RaBitQ system for billion-scale vector search, built on the core insight that decoupling coarse ranking (NPU) from fine ranking (CPU) allows each stage to leverage its optimal hardware, breaking the long-standing accuracy-memory-performance trade-off. We propose a three-stage heterogeneous pipeline comprising AI Core-accelerated coarse ranking on 1-bit quantized vectors, on-device AI CPU Top-k processing, and host CPU fine re-ranking on full-precision vectors. We introduce four NPU architecture-native optimizations: fused AIC-AIV operators for parallel distance computation, computation flow restructuring to exploit rotation orthogonality, fine-grained index block-level load balancing that breaks query boundaries, and intra-NPU pipeline parallelism between AI Core and AI CPU to mask Top-k latency. Evaluation on standard datasets shows that Ascend-RaBitQ achieves 3.0* to 62.8* faster index construction than the CPU baseline, up to 4.6* throughput improvement over the fastest CPU IVF-RaBitQ implementation, and over 100* over the mathematically equivalent CPU baseline, while demonstrating encouraging scalability on distributed multi-NPU systems.
• Abstract（参考訳）: ベクトル類似度探索は、現代のAIシステムにおいて重要な要素であるが、従来のCPUベースの実装は、計算オーバーヘッドの禁止とメモリ帯域幅の制限により、数十億のコーパスに対して基本的なスケーラビリティのボトルネックに直面している。 ニューラルプロセッシングユニット(NPU)は高い計算密度のオーダーを提供するが、既存のCPU/GPU最適化1ビットのRaBitQ量子化実装は基本的なハードウェアミスマッチのためNPUアーキテクチャに直接移植できない。 In this paper present, Ascend-RaBitQ, a first heterogeneous NPU-CPU optimized IVF-RaBitQ system for billion-scale vector search, built on the core insights that decoupling coarse ranking (NPU) from fine ranking (CPU) allowing each stage to leverage its optimal hardware, break the long-standing accuracy-Memory- Performance trade-off。 本稿では,1ビット量子化ベクトル上でのAIコア加速粗度ランキング,オンデバイスAI CPU Top-k処理,およびフル精度ベクトル上でのホストCPU微細度ランキングを含む3段階のヘテロジニアスパイプラインを提案する。 並列距離計算のためのAIC-AIV演算子、回転直交性を利用する計算フロー再構成、クエリ境界を破る詳細なインデックスブロックレベルのロードバランシング、トップkレイテンシを隠蔽するAI CoreとAI CPU間のNPUパイプライン並列性。 標準データセットの評価によると、Ascend-RaBitQはCPUベースラインよりも3.0*から62.8*高速なインデックス構築、最速のCPU IVF-RaBitQ実装より4.6*スループットの改善、数学的に等価なCPUベースラインより100*以上、分散マルチNPUシステムのスケーラビリティ向上を実証している。

関連論文リスト

• cuNNQS-SCI: A Fully GPU-Accelerated Framework for High-Performance Configuration Interaction Selection with Neural Network Quantum States [12.436495225801863]
  cuNNQS-SCIは、これらのボトルネックを克服するために設計された、完全にGPUアクセラレーションされたSCIフレームワークである。 64GPUのNVIDIA A100クラスタでは、cuNNQS-SCIは最大2.32倍のエンドツーエンドのスピードアップを達成する。 優れた分散パフォーマンスを示し、強力なスケーリングテストで90%以上の並列効率を維持する。
  論文  参考訳（メタデータ） (2026-04-17T07:15:18Z)
• CPUBone: Efficient Vision Backbone Design for Devices with Low Parallelization Capabilities [8.982222466965384]
  CPUベースの推論に最適化された新しいビジョンバックボーンモデルであるCPUBoneを紹介する。 CPUBoneは、幅広いCPUデバイスにわたる最先端のSpeed-Accuracy Trade-offs(SAT)を実現する。
  論文  参考訳（メタデータ） (2026-03-27T13:55:06Z)
• eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations [4.776283807742058]
  eIQ中性子効率NPUは商用フラッグシップMPUに統合される。 我々のソリューションは、標準AIベンチマークにおけるTOPSとメモリリソースの同等で平均1.8倍(4倍ピーク)のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-09-17T19:45:51Z)
• Benchmarking Edge AI Platforms for High-Performance ML Inference [0.0]
  エッジコンピューティングは、通信遅延を減らし、リアルタイム処理を可能にする能力から、高性能で異質なSystem-on-Chipソリューションの興隆を促進している。 現在のアプローチでは、現代的なハードウェアをスケールダウンすることが多いが、ニューラルネットワークワークロードのパフォーマンス特性は、大きく異なる場合がある。 我々は、CPUのみ、CPU/GPU、CPU/NPU統合ソリューション間で、様々な線形代数およびニューラルネットワーク推論タスクのレイテンシとスループットを比較した。
  論文  参考訳（メタデータ） (2024-09-23T08:27:27Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
  現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。 評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。 転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
  論文  参考訳（メタデータ） (2021-11-30T03:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。