論文の概要: RefConv: Re-parameterized Refocusing Convolution for Powerful ConvNets

• arxiv url: http://arxiv.org/abs/2310.10563v1
• Date: Mon, 16 Oct 2023 16:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 13:00:26.763641
• Title: RefConv: Re-parameterized Refocusing Convolution for Powerful ConvNets
• Title（参考訳）: RefConv: 強力なConvNetのための再パラメータ化されたリフォーカスコンボリューション
• Authors: Zhicheng Cai, Xiaohan Ding, Qiu Shen, Xun Cao
• Abstract要約: RefConvは、推論コストなしでパフォーマンスを改善するプラグイン・アンド・プレイモジュールである。 RefConvは画像分類,オブジェクト検出,セマンティックセグメンテーションにおいて,複数のCNNモデルを改善することができることを示す。
• 参考スコア（独自算出の注目度）: 22.06532136617123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Re-parameterized Refocusing Convolution (RefConv) as a replacement for regular convolutional layers, which is a plug-and-play module to improve the performance without any inference costs. Specifically, given a pre-trained model, RefConv applies a trainable Refocusing Transformation to the basis kernels inherited from the pre-trained model to establish connections among the parameters. For example, a depth-wise RefConv can relate the parameters of a specific channel of convolution kernel to the parameters of the other kernel, i.e., make them refocus on the other parts of the model they have never attended to, rather than focus on the input features only. From another perspective, RefConv augments the priors of existing model structures by utilizing the representations encoded in the pre-trained parameters as the priors and refocusing on them to learn novel representations, thus further enhancing the representational capacity of the pre-trained model. Experimental results validated that RefConv can improve multiple CNN-based models by a clear margin on image classification (up to 1.47% higher top-1 accuracy on ImageNet), object detection and semantic segmentation without introducing any extra inference costs or altering the original model structure. Further studies demonstrated that RefConv can reduce the redundancy of channels and smooth the loss landscape, which explains its effectiveness.
• Abstract（参考訳）: 提案するRe-parameterized Refocusing Convolution (RefConv) は,推論コストを伴わずに性能を向上させるためのプラグイン・アンド・プレイモジュールである通常の畳み込みレイヤの代替となる。 具体的には、事前訓練されたモデルが与えられたとき、refconvは、事前訓練されたモデルから継承された基礎カーネルに訓練可能な再焦点変換を適用し、パラメータ間の接続を確立する。 例えば、深さ方向のrefconvは、畳み込みカーネルの特定のチャネルのパラメータを、他のカーネルのパラメータに関連付けることができる。 別の観点から、RefConvは、事前訓練されたパラメータにエンコードされた表現を先行として利用し、新しい表現を学習するために再フォーカスすることで、既存のモデル構造の先行を拡大し、事前訓練されたモデルの表現能力をさらに強化する。 実験の結果、RefConvは画像分類、オブジェクト検出、セマンティックセグメンテーションにおいて、余分な推論コストやオリジナルのモデル構造を変更することなく、明確なマージンで複数のCNNベースのモデルを改善することができることがわかった。 さらなる研究により、refconvはチャネルの冗長性を低減し、損失景観を滑らかにすることができることが示され、その効果が説明された。

関連論文リスト

• FiRe: Fixed-points of Restoration Priors for Solving Inverse Problems [11.441644020200549]
  ニューラルネットワークの認知に基づく暗黙の先行は、Plug-and-Playアルゴリズムのような広く使われているフレームワークの中心となっている。 本稿では,前兆の概念を拡大するための新しい枠組みとして,前兆の固定点(FiRe)を導入する。 一般的な復元モデルを 従来の妄想モデルを超えたものにしました
  論文  参考訳（メタデータ） (2024-11-28T07:40:16Z)
• Low-Rank Rescaled Vision Transformer Fine-Tuning: A Residual Design Approach [17.678759882763078]
  事前訓練されたビジョントランスフォーマーの微調整は、下流のタスクにモデルを十分にカスタマイズすることを目的としている。 事前訓練されたモデルの一般化可能な表現能力を維持することと、タスク固有の特徴を取得することのバランスを取ることは重要な課題である。 本稿では,Residual-based Low-Rank Rescaling (RLRR)ファインチューニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-28T00:14:53Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [78.11734286268455]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Few-Shot Classification with Feature Map Reconstruction Networks [41.50028437830414]
  本稿では,サポート機能からクローズド形式でのクエリ機能に直接回帰することで,数ショット分類のための新しいメカニズムを提案する。 結果のFeature Map Restruction Networksは、以前のアプローチよりもパフォーマンスが高く、計算的に効率的である。
  論文  参考訳（メタデータ） (2020-12-02T20:19:09Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。