論文の概要: High-Throughput Private Information Retrieval with on-CPU Accelerators
- arxiv url: http://arxiv.org/abs/2611.02376v1
- Date: Mon, 02 Nov 2026 01:43:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:47:37.337444
- Title: High-Throughput Private Information Retrieval with on-CPU Accelerators
- Title(参考訳): オンCPUアクセラレータを用いた高速プライベート情報検索
- Abstract要約: AltoPIRはデータベース全体をスキャンすることで、クライアントが取得したレコードを隠します。
このスキャンをクエリ間で共有することでスループットを向上させる効果的な手法である。
本稿では,Intel AMX などの CPU 行列アクセラレータを活用する最初の PIR システムである AltoPIR を提案する。
- 参考スコア(独自算出の注目度): 2.538209532048867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Private information retrieval (PIR) hides which record a client retrieves by scanning the entire database, and batching is an effective technique to improve throughput by sharing this scan across queries. However, existing CPU-based solutions gain little from batching because each query still requires its own multiplications, and vector instructions perform only a few at a time. GPUs and other discrete accelerators can accelerate these computations, but require extra hardware and can constrain database size due to their limited memory capacity. In this paper, we present AltoPIR, the first PIR system that leverages on-CPU matrix accelerators such as Intel AMX. AltoPIR keeps the accelerator fed from the CPU caches, reading each database byte from memory once for all queries in a batch and never writing intermediate products to memory. This enables high-performance PIR through efficient batching without requiring discrete accelerators. Our evaluation shows that AltoPIR achieves up to 50.1x higher throughput than existing CPU-based solutions and serves databases larger than a GPU's memory.
- Abstract(参考訳): プライベート情報検索(PIR)は、データベース全体をスキャンすることでクライアントが検索するデータを隠蔽する。
しかし、既存のCPUベースのソリューションは、各クエリが依然として独自の乗算を必要としており、ベクトル命令は一度に数回しか実行できないため、バッチ処理からほとんど得られない。
GPUや他の個別アクセラレータはこれらの計算を高速化できるが、余分なハードウェアを必要とし、メモリ容量の制限によりデータベースサイズを制限できる。
本稿では,Intel AMX などの CPU 行列アクセラレータを活用する最初の PIR システムである AltoPIR を提案する。
AltoPIRは、アクセラレータをCPUキャッシュから供給し、バッチ内のすべてのクエリに対して一度だけメモリから各データベースバイトを読み、中間プロダクトをメモリに書き込まないようにする。
これにより、離散加速器を必要とせず、効率的なバッチ処理により高性能なPIRを実現する。
評価の結果、AltoPIRは既存のCPUベースのソリューションよりも最大50.1倍高いスループットを実現し、GPUメモリよりも大きなデータベースを提供することがわかった。
関連論文リスト
- Understand and Accelerate Memory Processing Pipeline for Disaggregated LLM Inference [45.78442013449325]
大規模言語モデルは、複雑な推論をサポートするための効率的な長文処理と生成機構に依存している。
これらの最適化は、Prepare Memory、Compute Relevancy、Retrieval、Apply to Inferenceという4段階のメモリ処理パイプラインに統合できることを示す。
この知見に触発されて、textbheterogeneous システムはメモリ処理の高速化やエンドツーエンドの推論に適していると論じる。
論文 参考訳(メタデータ) (2026-03-30T21:03:39Z) - ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference [31.69761251861347]
大規模言語モデルは、長いコンテキスト推論中に重要なGPUメモリ容量の制約に直面する。
我々は,GPUとCPUの協調処理によりLLM推論を高速化する新しいKVキャッシュオフロードフレームワークであるScoutAttentionを提案する。
ScoutAttentionは、新しいレイヤアヘッドCPUプリ計算アルゴリズムを備えており、CPUが1つのレイヤに前もって注意計算を開始することができる。
実験の結果、ScoutAttentionはベースラインの2.4%以内の精度を維持し、既存のオフロード方式に比べて2.1倍のスピードアップを達成した。
論文 参考訳(メタデータ) (2026-03-28T05:06:05Z) - ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs [50.29619653515229]
ArcLightは、マルチコアCPU向けにゼロから設計された軽量LLM推論アーキテクチャである。
ArcLightは主要なフレームワークのパフォーマンス上限を大幅に上回り、最大46%の推論スループットを実現しています。
論文 参考訳(メタデータ) (2026-03-08T19:20:25Z) - IVE: An Accelerator for Single-Server Private Information Retrieval Using Versatile Processing Elements [4.085063539485129]
IVE はシングルサーバ PIR のアクセラレータで,DRAM を使用した大規模データベースからの検索を可能にする。
IVEは、以前のPIRハードウェアソリューションに比べて1,275倍高いスループットを実現している。
論文 参考訳(メタデータ) (2025-12-01T11:47:26Z) - DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference [14.676716521856813]
Mixture-of-Experts (MoE)モデルは、メモリ制限されたデバイスにおいて、重大なデプロイメント上の課題に直面している。
並列GPU-CPU実行を最適化するデバイス上でのMoE推論エンジンである presentP を提案する。
Pは従来のエキスパートキャッシングとプリフェッチの手法を最大8.20倍、オフロード技術は1.35倍、精度は維持する。
論文 参考訳(メタデータ) (2024-12-16T07:59:21Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-25T05:04:44Z) - Heterogeneous Acceleration Pipeline for Recommendation System Training [1.8457649813040096]
レコメンデーションモデルは、ディープラーニングネットワークと大規模な埋め込みテーブルに依存している。
これらのモデルは一般的に、ハイブリッドGPUまたはGPUのみの設定を使用してトレーニングされる。
本稿ではヘテロジニアスなCPUアクセラレーションパイプラインであるHotlineを紹介する。
論文 参考訳(メタデータ) (2022-04-11T23:10:41Z) - Providing Meaningful Data Summarizations Using Examplar-based Clustering
in Industry 4.0 [67.80123919697971]
我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。
提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
論文 参考訳(メタデータ) (2021-05-25T15:55:14Z) - Faster than FAST: GPU-Accelerated Frontend for High-Speed VIO [46.20949184826173]
この研究は、既存のコンピュータビジョンアルゴリズムを改善するために、効率的な低レベルGPUハードウェア固有の命令の適用性に焦点を当てている。
特に、非マックス抑圧とその後の特徴選択は、全体的な画像処理遅延への顕著な寄与である。
論文 参考訳(メタデータ) (2020-03-30T14:16:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。