論文の概要: WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution

• arxiv url: http://arxiv.org/abs/2607.02097v1
• Date: Thu, 02 Jul 2026 12:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.828984
• Title: WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution
• Title（参考訳）: WBMM:ウィンドウ付きバッチ行列乗算による高能率大受容場畳み込み
• Abstract要約: 大きなカーネル奥行きの畳み込みは高い性能を達成するが、カーネルサイズが大きくなるにつれて著しく劣化する。 そこで,WBMM (Windowed Batch Matrix Matrix) を提案する。 WBMMのスループットは、より大きなカーネルで劣化する奥行きの畳み込みとは対照的に、より大きなウィンドウで改善される。
• 参考スコア（独自算出の注目度）: 15.50868366845277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large kernel depthwise convolutions achieve strong performance but suffer from significant degradation as kernel size grows due to irregular memory access from gather-based computation; while Large Kernel Acceleration (LKA) helps on small feature maps, it becomes counterproductive on large feature maps, even slower than non-accelerated implementations. We propose Windowed Batch Matrix Multiplication (WBMM), which partitions input into contiguous windows and indexes a compact relative position bias table to construct weight matrices, enabling regular memory access via batched matrix multiplication. This yields a unique property: WBMM's throughput improves with larger windows, opposite to depthwise convolutions that degrade with larger kernels. Operator-level benchmarks show WBMM with 14x14 windows outperforms 5x5 depthwise convolution baselines in speed while providing a 7.8x larger per-layer receptive field. Combined with inter-block cross-window communication and hierarchical window reparameterization, WBMM achieves comparable or higher accuracy on ImageNet-1K, COCO, and ADE20K with 1.31-1.88x training speedup, and demonstrates consistent advantages across GPU, CPU, and edge devices without requiring specialized acceleration kernels. Our code is available at http://github.com/wansong-s/WBMM
• Abstract（参考訳）: 大きなカーネルの深さ方向の畳み込みは高い性能を達成できるが、コレクションベースの計算から不規則なメモリアクセスによってカーネルサイズが増大するにつれて著しく低下する。 そこで我々は,WBMM(Windowed Batch Matrix Multiplication)を提案する。これは,入力を連続したウィンドウに分割し,コンパクトな相対的位置バイアステーブルをインデックスして重み行列を構築し,バッチ行列乗算による通常のメモリアクセスを可能にする。 WBMMのスループットは、より大きなカーネルで劣化する奥行きの畳み込みとは対照的に、より大きなウィンドウで改善される。 オペレータレベルのベンチマークでは、14x14ウィンドウのWBMMは5x5奥行きの畳み込みベースラインよりも優れており、層ごとの受信フィールドは7.8倍大きい。 ブロック間クロスウィンドウ通信と階層ウィンドウ再パラメータ化を組み合わせることで、WBMMはImageNet-1K、COCO、ADE20Kで1.31-1.88xのトレーニングスピードアップを達成し、特別なアクセラレーションカーネルを必要としないGPU、CPU、エッジデバイス間で一貫した優位性を示す。 私たちのコードはhttp://github.com/wansong-s/WBMMで利用可能です。

関連論文リスト

• Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
  本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。 SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-13T13:38:27Z)
• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• SMM-Conv: Scalar Matrix Multiplication with Zero Packing for Accelerated Convolution [4.14360329494344]
  本稿では、CPUアーキテクチャの推論中に畳み込みを加速するための新しいアプローチを提案する。 ネットワークアーキテクチャを用いた実験は,既存の間接手法に比べて大幅に高速化された。
  論文  参考訳（メタデータ） (2024-11-23T21:43:38Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• ScatterFormer: Efficient Voxel Transformer with Scattered Linear Attention [13.36619701679949]
  ウィンドウベースのトランスフォーマーは、安価な注意計算でコンテキスト認識表現をキャプチャすることで、大規模クラウド理解において優れている。 既存のメソッドは、ウィンドウ内のボクセルを広範囲のソートとパディング操作を通じて固定長のシーケンスにグループ化する。 ScatterFormerは、異なるウィンドウにまたがるvoxelに直接、単一のシーケンスとして注意を向ける最初の方法です。
  論文  参考訳（メタデータ） (2024-01-01T02:29:59Z)
• Im2win: An Efficient Convolution Paradigm on GPU [1.9162301033784574]
  本稿では、メモリフットプリントの削減だけでなく、連続的なメモリアクセスを提供するim2winと呼ばれる畳み込みベースの畳み込みに関するパラダイムを提案する。 直接畳み込みと、PyTorchのGEMMベースの畳み込みと、DNNベースの畳み込み実装の6ドルを、12の最先端ベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-06-25T19:09:56Z)
• Fast and High-Quality Image Denoising via Malleable Convolutions [72.18723834537494]
  動的畳み込みの効率的な変種として、Malleable Convolution (MalleConv)を提案する。 以前の作品とは異なり、MalleConvは入力から空間的に変化するカーネルのより小さなセットを生成する。 また、MalleNetという造語であるMalleConvを用いて、効率的なdenoisingネットワークを構築した。
  論文  参考訳（メタデータ） (2022-01-02T18:35:20Z)
• VW-SDK: Efficient Convolutional Weight Mapping Using Variable Windows for Processing-In-Memory Architectures [3.1996035949428046]
  可変ウィンドウSDK(VW-SDK)と呼ばれる新しいマッピングアルゴリズムを提案する。 VW-SDKは、所定の畳み込み層とPIMアレイの最小計算サイクルにつながる並列ウィンドウの形状を適応的に決定する。 512x512 PIMアレイとResnet-18によるシミュレーションでは、既存のSDKベースのアルゴリズムと比較して、VW-SDKは推論速度を1.69倍改善している。
  論文  参考訳（メタデータ） (2021-12-21T15:10:30Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)
• FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks [3.577310844634503]
  本研究では, サンプル密度行列乗算とスパース密度行列乗算をFusedMMと呼ばれる単一演算の下で統一する融合行列乗算カーネルを開発した。 ユーザ定義関数を使用することで、FusedMMは一般的なグラフ埋め込みやGNNアプローチで必要とされる、ほぼすべての計算パターンをキャプチャできる。
  論文  参考訳（メタデータ） (2020-11-07T18:06:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。