論文の概要: Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/1910.09455v2
• Date: Wed, 13 Sep 2023 06:35:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 19:00:45.817705
• Title: Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
• Title（参考訳）: 効率的な畳み込みニューラルネットワークにおける分離可能な畳み込みを加速するための深さ分解
• Authors: Yihui He, Jianing Qian, Jianren Wang
• Abstract要約: 多くのコンピュータビジョンタスクの主要な方法として、ディープ畳み込みニューラルネットワーク(CNN)が確立されている。 近年,計算能力に制限のあるプラットフォーム上での画像認識タスクに対して,深度的に分離可能な畳み込み法が提案されている。 本稿では, SVD に基づく新しい分解手法を提案し, 正規畳み込みを深度分割可能な畳み込みに拡張する。
• 参考スコア（独自算出の注目度）: 12.417655588655894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Very deep convolutional neural networks (CNNs) have been firmly established as the primary methods for many computer vision tasks. However, most state-of-the-art CNNs are large, which results in high inference latency. Recently, depth-wise separable convolution has been proposed for image recognition tasks on computationally limited platforms such as robotics and self-driving cars. Though it is much faster than its counterpart, regular convolution, accuracy is sacrificed. In this paper, we propose a novel decomposition approach based on SVD, namely depth-wise decomposition, for expanding regular convolutions into depthwise separable convolutions while maintaining high accuracy. We show our approach can be further generalized to the multi-channel and multi-layer cases, based on Generalized Singular Value Decomposition (GSVD) [59]. We conduct thorough experiments with the latest ShuffleNet V2 model [47] on both random synthesized dataset and a large-scale image recognition dataset: ImageNet [10]. Our approach outperforms channel decomposition [73] on all datasets. More importantly, our approach improves the Top-1 accuracy of ShuffleNet V2 by ~2%.
• Abstract（参考訳）: 多くのコンピュータビジョンタスクの主要な手法として、非常に深い畳み込みニューラルネットワーク(CNN)が確立されている。 しかし、ほとんどの最先端CNNは巨大であり、高い推論遅延をもたらす。 近年,ロボットや自動運転車などの限られたプラットフォーム上での画像認識タスクにおいて,奥行き分離可能な畳み込みが提案されている。 通常の畳み込みよりもはるかに速いが、正確さは犠牲になる。 本稿では,SVDに基づく新しい分解手法,すなわち深度分解法を提案し,高精度を維持しつつ,正規畳み込みを深度分離可能な畳み込みに拡張する。 一般化特異値分解(GSVD: Generalized Singular Value Decomposition, GSVD) [59] に基づく多チャンネルおよび多層ケースにさらに一般化できることを示す。 我々は、ランダム合成データセットと大規模画像認識データセットの両方について、最新のShuffleNet V2モデル[47]で徹底的な実験を行う。 我々のアプローチは、すべてのデータセットでチャネル分解[73]を上回ります。 さらに重要なのは、ShuffleNet V2のTop-1精度を約2%向上させることです。

関連論文リスト

• The R2D2 deep neural network series paradigm for fast precision imaging in radio astronomy [1.7249361224827533]
  最近の画像再構成技術は、CLEANの能力をはるかに超えて、画像の精度が著しく向上している。 高ダイナミックレンジイメージングのためのResidual-to-Residual DNNシリーズと呼ばれる新しいディープラーニング手法を導入する。 高精度を実現するためのR2D2の能力は、超大型アレイ(VLA)を用いた様々な画像観測環境においてシミュレーションで実証されている。
  論文  参考訳（メタデータ） (2024-03-08T16:57:54Z)
• Revisiting Deformable Convolution for Depth Completion [40.45231083385708]
  深度完備化は、スパース深度マップから高品質の高密度深度マップを作成することを目的としている。 従来の作業では、通常、RGBイメージをガイダンスとして使用し、推定された粗い深度マップを洗練するための反復的な空間伝播を導入している。 変形可能なカーネルの畳み込みを単一パスリファインメントモジュールとして活用する,効率的なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-03T17:59:06Z)
• Global-Local Path Networks for Monocular Depth Estimation with Vertical CutDepth [24.897377434844266]
  単分子深度推定のための新しい構造とトレーニング戦略を提案する。 階層型トランスフォーマーエンコーダをデプロイして,グローバルなコンテキストをキャプチャし,伝達し,軽量で強力なデコーダを設計する。 我々のネットワークは、挑戦的な深度データセットNYU Depth V2に対して最先端の性能を達成する。
  論文  参考訳（メタデータ） (2022-01-19T06:37:21Z)
• Towards Comprehensive Monocular Depth Estimation: Multiple Heads Are Better Than One [32.01675089157679]
  本稿では,複数の弱い深度予測器の強度を統合し,包括的かつ正確な深度予測器を構築することを提案する。 具体的には、異なるTransformerベースおよび畳み込みニューラルネットワーク(CNN)ベースのアーキテクチャを用いて、複数のベース(弱)深さ予測器を構築する。 その結果、トランスフォーマー支援深度アンサンブル(TEDepth)と呼ばれるモデルでは、従来の最先端手法よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2021-11-16T09:09:05Z)
• FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic Arrays [2.8583189395674653]
  本稿では,深度的に分離可能な畳み込みの代替としてFuSeConvを提案する。 FuSeConvは、空間次元と深さ次元に沿って分離可能な1次元の畳み込みを完全に分解する。 我々は、画像Netデータセットに匹敵する精度で、64x64サイズのシストリックアレイ上で、MobileNetのネットワークファミリで3x-7xの大幅な高速化を実現した。
  論文  参考訳（メタデータ） (2021-05-27T20:19:39Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。