論文の概要: Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
- arxiv url: http://arxiv.org/abs/2608.20725v1
- Date: Fri, 21 Aug 2026 04:09:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.374285
- Title: Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
- Title（参考訳）: GPU CUDAとTensor Coreのマルチ精度サポートによるメモリ効率のIm2win畳み込みの実現
- Abstract要約: 既存のGPU畳み込み方式では、メモリのオーバーヘッドが大きく、キャッシュ利用の低さ、カーネルサイズによる有効性の制限、数値的な不安定さに悩まされている。
この作業は、すべてのカーネルサイズに対して連続的なメモリアクセスを備えた、普遍的でメモリ効率のよい畳み込みメソッドであるim2winパラダイムを拡張して、コア上での完全な精度とコア上のハーフ精度で効率的に動作させる。
- 参考スコア（独自算出の注目度）: 26.80370423154318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolution is a principal computational bottleneck in deep neural networks, and its efficiency depends on tight integration between algorithms and GPU hardware. Existing GPU convolution methods suffer from large memory overhead, poor cache utilization, limited effectiveness across kernel sizes, or numerical instability. This work extends the im2win paradigm -- a universal, memory-efficient convolution method with contiguous memory access for all kernel sizes -- to run efficiently in full precision on CUDA cores and half precision on tensor cores. By introducing new kernel designs and optimizations such as zig-zag memory access and asynchronous data movement, im2win efficiently exploits hardware-accelerated half-precision matrix multiply-accumulate operations. Across twelve CNN benchmarks, im2win achieves up to 2.8x higher TFLOPS than its CUDA core implementation, 1.4x higher than cuDNN, and 6.4x higher than GEMM-based convolution with cuBLAS, while using as little as 53% and 35% of their memory, respectively. These results establish im2win as a unified, high-performance convolution framework for modern GPU architectures.
- Abstract（参考訳）: 畳み込みはディープニューラルネットワークの主要な計算ボトルネックであり、その効率はアルゴリズムとGPUハードウェアの密接な統合に依存する。
既存のGPU畳み込み方式では、メモリのオーバーヘッドが大きく、キャッシュ利用の低さ、カーネルサイズによる有効性の制限、数値的な不安定さに悩まされている。
この研究は、全てのカーネルサイズに対して連続的なメモリアクセスを持つ普遍的でメモリ効率のよい畳み込み方式であるim2winパラダイムを拡張し、CUDAコアの完全精度とテンソルコアの半精度で効率的に動作させる。
zig-zagメモリアクセスや非同期データ移動などの新しいカーネル設計や最適化を導入することで、Im2winはハードウェアアクセラレーションによる半精度行列乗算演算を効率的に活用する。
12のCNNベンチマークで、im2winはCUDAコア実装よりも最大2.8倍、cuDNNより1.4倍、GEMMベースのcuBLASとの畳み込みよりも6.4倍高いTFLOPSを実現し、メモリの53%と35%しか使用していない。
これらの結果は、最新のGPUアーキテクチャのための統合された高性能な畳み込みフレームワークとしてim2winを確立している。
関連論文リスト
- Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。
さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文 参考訳（メタデータ） (2026-07-02T08:06:57Z) - GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study [0.0]
本稿では,浅層ニューラルネットワークにおける前方・後方伝播に対する最適化手法の比較検討を行う。
NVIDIA Tesla T4(CUDA 13.0)の実験では、完全に最適化された実装はベースラインバージョンよりも1.41倍のスピードアップを達成した。
結果は、シーケンシャルベースラインとOpenMP並列実装と比較される。
論文 参考訳（メタデータ） (2026-06-29T16:02:10Z) - CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation [51.72529978689561]
Agentは、カーネルの専門知識を3つのコンポーネントで開発する大規模なエージェント強化学習システムである。
AgentはKernelBench上で、トーチコンパイルよりも100%、100%、92%高速なレートを提供する。
論文 参考訳（メタデータ） (2026-02-27T18:58:05Z) - Libra: Synergizing CUDA and Tensor Cores for High-Performance Sparse Matrix Multiplication [6.557224606759151]
現代の加速器は一般にスパース演算子を加速するコアとコアを備えている。
資源を1つだけ利用すれば,それぞれの制限のため,スパース行列乗算の性能が劣ることを示す。
本稿では,2.9コアの高性能とコアの低冗長性を両立させて,タスクマッピング演算子のスイートポイントを求める2D対応のワークロード計算戦略を提案する。
論文 参考訳（メタデータ） (2025-06-28T01:50:13Z) - Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳（メタデータ） (2024-10-22T17:59:30Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - Im2win: Memory Efficient Convolution On SIMD Architectures [2.153650601445911]
我々は、im2winと呼ばれる新しいメモリ効率のよいデータ変換アルゴリズムを提案する。
その結果,PyTorchの畳み込み実装と比較して,メモリオーバーヘッドを平均41.6%削減できることがわかった。
論文 参考訳（メタデータ） (2023-06-25T19:21:10Z) - Im2win: An Efficient Convolution Paradigm on GPU [1.9162301033784574]
本稿では、メモリフットプリントの削減だけでなく、連続的なメモリアクセスを提供するim2winと呼ばれる畳み込みベースの畳み込みに関するパラダイムを提案する。
直接畳み込みと、PyTorchのGEMMベースの畳み込みと、DNNベースの畳み込み実装の6ドルを、12の最先端ベンチマークで比較する。
論文 参考訳（メタデータ） (2023-06-25T19:09:56Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z) - Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。
私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。
これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
論文 参考訳（メタデータ） (2020-04-19T05:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。