論文の概要: Revisiting Dynamic Convolution via Matrix Decomposition

• arxiv url: http://arxiv.org/abs/2103.08756v1
• Date: Mon, 15 Mar 2021 23:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 23:12:02.537760
• Title: Revisiting Dynamic Convolution via Matrix Decomposition
• Title（参考訳）: 行列分解による動的畳み込みの再検討
• Authors: Yunsheng Li, Yinpeng Chen, Xiyang Dai, Mengchen Liu, Dongdong Chen, Ye Yu, Lu Yuan, Zicheng Liu, Mei Chen, Nuno Vasconcelos
• Abstract要約: チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。 本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
• 参考スコア（独自算出の注目度）: 81.89967403872147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research in dynamic convolution shows substantial performance boost for efficient CNNs, due to the adaptive aggregation of K static convolution kernels. It has two limitations: (a) it increases the number of convolutional weights by K-times, and (b) the joint optimization of dynamic attention and static convolution kernels is challenging. In this paper, we revisit it from a new perspective of matrix decomposition and reveal the key issue is that dynamic convolution applies dynamic attention over channel groups after projecting into a higher dimensional latent space. To address this issue, we propose dynamic channel fusion to replace dynamic attention over channel groups. Dynamic channel fusion not only enables significant dimension reduction of the latent space, but also mitigates the joint optimization difficulty. As a result, our method is easier to train and requires significantly fewer parameters without sacrificing accuracy. Source code is at https://github.com/liyunsheng13/dcd.
• Abstract（参考訳）: 動的畳み込みの最近の研究は、K静的畳み込みカーネルの適応的アグリゲーションにより、効率的なCNNの性能が大幅に向上したことを示している。 a) k-時間による畳み込み重み数の増加、(b)動的注意と静的畳み込み核の合同最適化は困難である。 本稿では,行列分解の新たな視点から再考し,動的畳み込みが高次元の潜在空間に射影した後,チャネル群に対して動的に注意を払っていることを明らかにする。 この問題に対処するため,チャネル群に対する動的注意を代替する動的チャネル融合を提案する。 動的チャネル融合は潜在空間の大幅な次元縮小を可能にするだけでなく、協調最適化の困難さを緩和する。 その結果,本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく少なくすることができる。 ソースコードはhttps://github.com/liyunsheng13/dcdにある。

関連論文リスト

• SGDM: Static-Guided Dynamic Module Make Stronger Visual Models [0.9012198585960443]
  空間的注意機構は、物体検出性能を改善するために広く利用されている。 動的重み畳み込みの2つの欠陥に対処するため、Razor Dynamic Convolution (RDConv)を提案する。 本稿では,高周波雑音に敏感な動的畳み込みの問題を解決するため,静的畳み込みにおける共有重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-03-27T06:18:40Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Adaptive Dynamic Filtering Network for Image Denoising [8.61083713580388]
  画像デノーミングネットワークでは、機能スケーリングは受動的フィールドサイズを拡大し、計算コストを削減するために広く利用されている。 本稿では、動的畳み込みを用いて、高周波およびマルチスケール特徴の学習を改善することを提案する。 我々は提案するDCBとAMDNetというMDCBを併用した効率的なデノベーションネットワークを構築した。
  論文  参考訳（メタデータ） (2022-11-22T06:54:27Z)
• Learning Cross-view Geo-localization Embeddings via Dynamic Weighted Decorrelation Regularization [52.493240055559916]
  クロスビュージオローカライゼーションは、ドローンプラットフォームと衛星プラットフォームという2つのプラットフォームから撮影された同じ位置の画像を見つけることを目的としている。 既存の手法は、通常、特徴空間内の他のものとの埋め込み距離を最適化することに焦点を当てる。 本稿では、低冗長性も重要であり、モデルがより多様なパターンをマイニングする動機となっていると論じる。
  論文  参考訳（メタデータ） (2022-11-10T02:13:10Z)
• Omni-Dimensional Dynamic Convolution [25.78940854339179]
  各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。 動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。 より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
  論文  参考訳（メタデータ） (2022-09-16T14:05:38Z)
• SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution [16.56592303409295]
  動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。 我々はこれら2つのパスを自然に統合する新しいフレームワーク textbfSparse Dynamic Convolution (textscSD-Conv) を提案する。
  論文  参考訳（メタデータ） (2022-04-05T14:03:54Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。