論文の概要: Decoupled Dynamic Filter Networks

• arxiv url: http://arxiv.org/abs/2104.14107v1
• Date: Thu, 29 Apr 2021 04:55:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 13:02:23.309366
• Title: Decoupled Dynamic Filter Networks
• Title（参考訳）: 分離型動的フィルタネットワーク
• Authors: Jingkai Zhou, Varun Jampani, Zhixiong Pi, Qiong Liu, Ming-Hsuan Yang
• Abstract要約: これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
• 参考スコア（独自算出の注目度）: 85.38058820176047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolution is one of the basic building blocks of CNN architectures. Despite its common use, standard convolution has two main shortcomings: Content-agnostic and Computation-heavy. Dynamic filters are content-adaptive, while further increasing the computational overhead. Depth-wise convolution is a lightweight variant, but it usually leads to a drop in CNN performance or requires a larger number of channels. In this work, we propose the Decoupled Dynamic Filter (DDF) that can simultaneously tackle both of these shortcomings. Inspired by recent advances in attention, DDF decouples a depth-wise dynamic filter into spatial and channel dynamic filters. This decomposition considerably reduces the number of parameters and limits computational costs to the same level as depth-wise convolution. Meanwhile, we observe a significant boost in performance when replacing standard convolution with DDF in classification networks. ResNet50 / 101 get improved by 1.9% and 1.3% on the top-1 accuracy, while their computational costs are reduced by nearly half. Experiments on the detection and joint upsampling networks also demonstrate the superior performance of the DDF upsampling variant (DDF-Up) in comparison with standard convolution and specialized content-adaptive layers.
• Abstract（参考訳）: 畳み込みはCNNアーキテクチャの基本構成要素の1つである。 一般的な使用にもかかわらず、標準畳み込みには2つの主な欠点がある。 動的フィルタはコンテント適応であり、計算オーバーヘッドはさらに増加する。 奥行きの畳み込みは軽量なバリエーションであるが、通常はCNNの性能低下につながるか、より多くのチャンネルを必要とする。 本研究では,これら2つの欠点を同時に解決できる非結合動的フィルタ(ddf)を提案する。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 この分解はパラメータの数を大幅に減らし、計算コストを深みの畳み込みと同じレベルに制限する。 一方,分類ネットワークにおける標準畳み込みをddfに置き換える際の性能の大幅な向上が観察された。 resnet50 / 101はトップ1の精度で1.9%と1.3%改善され、計算コストは半分近く削減された。 また,DDFアップサンプリング変異体(DDF-Up)は,標準畳み込み層や特殊コンテンツ適応層と比較して優れた性能を示した。

関連論文リスト

• Decomposed Guided Dynamic Filters for Efficient RGB-Guided Depth Completion [46.04264366475848]
  RGB誘導深度補正は、スパース深度測定と対応するRGB画像から深度マップを予測することを目的としている。 ガイド付き動的フィルタは、RGB特徴から空間的に可変な深度分割可能な畳み込みフィルタを生成し、深度特徴を導出する。 本稿では,ガイド付き動的フィルタを空間的に共有されたコンポーネントに分解し,各空間位置におけるコンテンツ適応型適応器を乗じて分解する。
  論文  参考訳（メタデータ） (2023-09-05T08:37:58Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)
• SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution [16.56592303409295]
  動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。 我々はこれら2つのパスを自然に統合する新しいフレームワーク textbfSparse Dynamic Convolution (textscSD-Conv) を提案する。
  論文  参考訳（メタデータ） (2022-04-05T14:03:54Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Hardware Architecture of Embedded Inference Accelerator and Analysis of Algorithms for Depthwise and Large-Kernel Convolutions [27.141754658998323]
  提案されたアーキテクチャは、異なるサイズのフィルタカーネルを高い柔軟性でサポートする。 画像分類では、深さ方向の畳み込みで3倍の3$フィルタを5倍の5$フィルタに置き換えることで、精度が1%向上する。
  論文  参考訳（メタデータ） (2021-04-29T05:45:16Z)
• Revisiting Dynamic Convolution via Matrix Decomposition [81.89967403872147]
  チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。 本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
  論文  参考訳（メタデータ） (2021-03-15T23:03:18Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform [0.0]
  スペクトル選択成分をオフにすることで、ネットワークのトレーニングされた重みの数を減らし、その性能にどのように影響するかを分析する。 実験により、訓練されたDCTパラメータでフィルタをコーディングすると、従来の畳み込みよりも改善されることが示された。
  論文  参考訳（メタデータ） (2020-01-23T13:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。