論文の概要: TileMaxSim: IO-Aware GPU MaxSim Scoring with Dimension Tiling and Fused Product Quantization

• arxiv url: http://arxiv.org/abs/2606.26439v1
• Date: Wed, 24 Jun 2026 23:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.097069
• Title: TileMaxSim: IO-Aware GPU MaxSim Scoring with Dimension Tiling and Fused Product Quantization
• Title（参考訳）: TileMaxSim: IO対応GPU MaxSim Scoring with Dimension Tiling and Fused Product Quantization
• Abstract要約: ColBERTのようなマルチベクトル検索モデルは、きめ細かいトークンレベルのMaxSimスコアリングによって最先端の精度を達成する。 既存のGPU実装は、ほとんどのハードウェア性能を未使用のままにしている。 私たちは、このギャップを埋めるIO対応のTritonカーネルのファミリーであるTileMaxSimを紹介します。
• 参考スコア（独自算出の注目度）: 3.3723515662362265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-vector retrieval models such as ColBERT achieve state-of-the-art accuracy through fine-grained token-level MaxSim scoring, yet existing GPU implementations leave most hardware performance unused. We give a roofline analysis of MaxSim on modern GPUs and identify a severe bandwidth gap: naive implementations reach only 5-18% of peak HBM bandwidth because they materialize the Nq x Nd similarity matrix, wasting memory traffic on data that is consumed once and discarded. We present TileMaxSim, a family of IO-aware Triton kernels that close this gap via (1) multi-query SRAM tiling that streams document embeddings through shared memory while accumulating per-query-token maxima in registers, reading each embedding from HBM exactly once; (2) dimension tiling that partitions the embedding dimension into 128-wide chunks, enabling scoring for d > 128 embeddings that overflow shared memory; and (3) fused product-quantization scoring via shared-memory lookup tables, cutting HBM I/O by up to ~31x. On NVIDIA H100 GPUs, TileMaxSim reaches 80.2% of peak HBM bandwidth and scores 82M documents/second (71.6M/s on real MS MARCO passages), a 220x speedup over loop-based scoring, 6.5x over fused PyTorch, 6.6-8.5x over torch.compile, and 469x the scoring throughput of WARP's CPU engine on the same node. TileMaxSim preserves exact retrieval quality: on MS MARCO and three BEIR benchmarks, rankings match reference MaxSim. As a drop-in replacement in ColBERTv2/PLAID, it cuts scoring latency at 100K candidates from 268 ms to 1.2 ms (98% lower end-to-end latency). We further show constant throughput from 100K to 500K documents, data-parallel multi-GPU sharding, robustness across dimensions 64-768, and FP16/BF16/FP32 support. Concurrent work independently develops an IO-aware fused MaxSim kernel; we differ in dimension tiling for d > 128 and fused product-quantization scoring.
• Abstract（参考訳）: ColBERTのようなマルチベクター検索モデルは、細かいトークンレベルのMaxSimスコアリングによって最先端の精度を達成するが、既存のGPU実装は、ほとんどのハードウェア性能を未使用のまま残している。 Nq x Nd 類似性行列を具体化してメモリトラフィックを無駄にし、一度消費され廃棄されたデータにメモリトラフィックを浪費するため、単純実装はHBM帯域幅の5-18%にしか達しない。 このギャップを埋めるIO対応トリトンカーネルのファミリーであるTileMaxSimについて述べる。(1)共有メモリを介してドキュメントの埋め込みをストリームするマルチクエリSRAMタイリング、(2)HBMから各埋め込みを正確に1度だけ読み取る、(2)埋め込み次元を128のチャンクに分割する次元タイリング、(2)共有メモリをオーバーフローするd > 128の埋め込みを可能にする、(3)共有メモリのルックアップテーブルによる融合製品量子化、(3)HBM I/Oを最大31倍に削減する。 NVIDIA H100 GPUでは、TileMaxSimはピークHBM帯域の80.2%に達し、82Mドキュメント/秒(実際のMS MARCOパスでは71.6M/秒)、ループベースのスコアの220倍のスピードアップ、融合したPyTorchの6.5倍、 torch.compileの6.6-8.5倍、WARPのCPUエンジンのスコアスループットの469倍である。 TileMaxSimは正確な検索品質を保持しており、MS MARCOと3つのBEIRベンチマークでは、ランキングはMaxSimと一致する。 ColBERTv2/PLAIDのドロップイン代替として、100K候補のスコアリング遅延を268msから1.2ms(98%低いエンドツーエンドレイテンシ)に削減する。 さらに,100Kから500Kドキュメントのスループット,データ並列マルチGPUシャーディング,64-768次元の堅牢性,FP16/BF16/FP32サポートなどを示す。 コンカレントワークは,d > 18 の次元タイリングと積量子化スコア(fused product-quantization score)が異なる,IO 対応の融合 MaxSim カーネルを独立に開発する。

関連論文リスト

• SparseDitto: Customizing GPU Kernels for Different Sparsity Patterns with LLM-Based Agentic System [45.52961410486319]
  本稿では,各行列,演算子,ターゲットGPU用のGPUカーネルを構築するLLMベースのシステムであるSparseDittoを提案する。 SparseDittoは、統一設計フレームワークでSpMV、SpMM、SpGEMMをサポートする。 生成されたSpMMカーネルは、最大3.39倍のフルバッチGCNトレーニングを加速する。
  論文  参考訳（メタデータ） (2026-08-05T16:41:03Z)
• A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi [0.0]
  このレポートはハードウェアを維持し、適合するモデルに何ができるかを尋ねる。 SigLIP2エンコーダとウィンドウアテンションマージを組み合わせた,現代的なマルチモーダルアシスタントであるMini-V-4.6をデプロイする。 システムは、画像質問のエンドツーエンドを1.7秒で答える。
  論文  参考訳（メタデータ） (2026-07-16T04:48:44Z)
• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• GPUSparse: GPU-Accelerated Learned Sparse Retrieval with Parallel Inverted Indices [3.3723515662362265]
  本稿では,GPUを高速化した正確なスパース検索システムであるGPUSparseを提案する。 ブロック整列されたワープ対応のポストリストを持つGPU並列逆インデックスを使用する。 Batched scatter-add スコアリングアルゴリズムは数百のクエリを同時に処理する。
  論文  参考訳（メタデータ） (2026-06-24T23:07:57Z)
• FLASH-MAXSIM: IO-Aware Fused Kernels for Late-Interaction Scoring [2.159285655678094]
  Flash-MaxSimは、テンソルを作らずに全く同じスコアを計算するIO対応カーネルである。 一致した精度ではPyTorchよりもA100では最大3.9倍高速で、推論メモリは最大16倍、トレーニングメモリは28倍高速である。
  論文  参考訳（メタデータ） (2026-05-28T07:38:27Z)
• A Controlled Study of Memory Hierarchy Transitions in Quantum Circuit Simulation on Apple M4 Pro Unified Memory Architecture [0.0]
  状態ベクトル量子回路シミュレーションはメモリ帯域境界である。 Apple M4 Pro Unified Memory Architectureを使ってこの問題に対処する。 ピークストリーミング帯域幅は、連続しないメモリアクセスパターンのシミュレーションスピードアップを予測できないことを示す。
  論文  参考訳（メタデータ） (2026-05-09T08:22:55Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
  Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。 オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
  論文  参考訳（メタデータ） (2026-01-06T00:00:55Z)
• FuseSampleAgg: Fused Neighbor Sampling and Aggregation for Mini-batch GNNs [51.56484100374058]
  FuseSampleAggは、隣人の平均アグリゲーションをGraphSAGEの1つのパスにフューズし、サンプリングする。 Operatorは決定論的であり、標準のPyTorchと統合され、CSVログからすべてのテーブルとフィギュアを再現するスクリプトが同梱されている。
  論文  参考訳（メタデータ） (2025-11-17T17:57:18Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。