論文の概要: ConvBench: A Comprehensive Benchmark for 2D Convolution Primitive Evaluation

• arxiv url: http://arxiv.org/abs/2407.10730v1
• Date: Mon, 15 Jul 2024 13:58:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:01:44.789147
• Title: ConvBench: A Comprehensive Benchmark for 2D Convolution Primitive Evaluation
• Title（参考訳）: ConvBench: 2次元畳み込み原始評価のための総合ベンチマーク
• Authors: Lucas Alvarenga, Victor Ferrari, Rafael Souza, Marcio Pereira, Guido Araujo,
• Abstract要約: 本稿では,畳み込みアルゴリズムの評価と比較のためのプリミティブレベルのベンチマークであるConvBenchを提案する。 1097の現実世界のディープラーニングモデルから派生した9243の畳み込み操作を評価する。 実験の結果、93.6%の畳み込みでIm2col-GEMMよりも速い結果が得られた。
• 参考スコア（独自算出の注目度）: 0.34952465649465553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolution is a compute-intensive operation placed at the heart of Convolution Neural Networks (CNNs). It has led to the development of many high-performance algorithms, such as Im2col-GEMM, Winograd, and Direct-Convolution. However, the comparison of different convolution algorithms is an error-prone task as it requires specific data layouts and system resources. Failure to address these requirements might lead to unwanted time penalties. Thus, considering all processing steps within convolution algorithms is essential to comprehensively evaluate and fairly compare their performance. Furthermore, most known convolution benchmarking adopts ad-hoc testing suites with limited coverage and handmade operations. This paper proposes ConvBench, a primitive-level benchmark for the evaluation and comparison of convolution algorithms. It assesses 9243 convolution operations derived from 1097 real-world deep learning models, resulting in performance and execution breakdown graphs for a detailed evaluation. ConvBench capability is evaluated across the Sliced Convolution (SConv) algorithm. The experiments showed results faster than Im2col-GEMM in 93.6% of the convolutions. However, the use of ConvBench allowed the delving into the remaining 6.4% underperforming convolutions, uncovering a critical slowdown of 79.5% on average of SConv's packing step. This analysis underscores a potential source of optimization for SConv, opening up new paths for convolution designers to improve their algorithms.
• Abstract（参考訳）: 畳み込み(英: Convolution)は、畳み込みニューラルネットワーク(CNN)の中心に位置する計算集約的な演算である。 Im2col-GEMM、Winograd、Direct-Convolutionなど多くの高性能アルゴリズムの開発に繋がった。 しかし、異なる畳み込みアルゴリズムの比較は、特定のデータレイアウトとシステムリソースを必要とするため、エラーが発生しやすいタスクである。 これらの要件に対処できないことは、不必要な時間刑につながる可能性がある。 したがって、畳み込みアルゴリズムにおける全ての処理ステップを考慮することは、その性能を包括的に評価し、公平に比較することが不可欠である。 さらに、最もよく知られている畳み込みベンチマークでは、限られたカバレッジと手作り操作を備えたアドホックなテストスイートが採用されている。 本稿では,畳み込みアルゴリズムの評価と比較のためのプリミティブレベルのベンチマークであるConvBenchを提案する。 1097の現実世界のディープラーニングモデルから導かれる9243の畳み込み操作を評価し、その結果、詳細な評価のためにパフォーマンスと実行の分解グラフが生成される。 ConvBenchはSliced Convolution(SConv)アルゴリズムで評価される。 実験の結果、93.6%の畳み込みでIm2col-GEMMよりも速い結果が得られた。 しかし、ConvBenchの使用により、残りの6.4%の貧弱なコンボリューションが実現し、SConvのパッキングステップの平均で79.5%の致命的な減速が明らかになった。 この分析により、SConvの潜在的な最適化の源泉が示され、畳み込み設計者がアルゴリズムを改善するための新しいパスが開かれた。

関連論文リスト

• High Performance Im2win and Direct Convolutions using Three Tensor Layouts on SIMD Architectures [26.146937503081876]
  本稿では, NHWC, CHWN, CHWN8の3つの新しいデータレイアウトを提案する。 我々は、SIMDマシン上の最適化したim2win畳み込みとPyTorchのim2colベースの畳み込みを比較した。 最適化した im2win と direct の畳み込みは, 機械の最大性能の95% と 94% をそれぞれ達成した。
  論文  参考訳（メタデータ） (2024-08-01T04:37:03Z)
• GPU Based Differential Evolution: New Insights and Comparative Study [7.5961910202572644]
  この研究は、GPUベースの微分進化アルゴリズムの文献における主要なアーキテクチャ選択についてレビューする。 新しいGPUベースの数値最適化ベンチマークを導入し、GPUベースのDEMアルゴリズムを評価し比較する。
  論文  参考訳（メタデータ） (2024-05-26T12:40:39Z)
• Im2win: An Efficient Convolution Paradigm on GPU [1.9162301033784574]
  本稿では、メモリフットプリントの削減だけでなく、連続的なメモリアクセスを提供するim2winと呼ばれる畳み込みベースの畳み込みに関するパラダイムを提案する。 直接畳み込みと、PyTorchのGEMMベースの畳み込みと、DNNベースの畳み込み実装の6ドルを、12の最先端ベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-06-25T19:09:56Z)
• Efficient Convex Algorithms for Universal Kernel Learning [46.573275307034336]
  カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。 従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。 本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-15T04:57:37Z)
• Advancing Direct Convolution using Convolution Slicing Optimization and ISA Extensions [1.2006896500048552]
  畳み込みは、機械学習モデル推論のために実行しなければならない最も計算集約的な操作の1つである。 本稿では,MLIR/LLVMコード生成ツールチェーンをベースとした直接畳み込みアルゴリズムであるSConvを提案する。
  論文  参考訳（メタデータ） (2023-03-08T17:23:39Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Involution: Inverting the Inherence of Convolution for Visual Recognition [72.88582255910835]
  本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。 提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。 当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
  論文  参考訳（メタデータ） (2021-03-10T18:40:46Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。