論文の概要: MCL: Meta Convolution Layer

• arxiv url: http://arxiv.org/abs/2610.11117v1
• Date: Thu, 08 Oct 2026 02:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.745079
• Title: MCL: Meta Convolution Layer
• Title（参考訳）: MCL: Meta Convolution Layer
• Abstract要約: 動的畳み込みは、カーネルを入力コンテンツに適応させることで畳み込みニューラルネットワーク(CNN)を強化するが、少数の基底カーネルの線形混合として有効カーネルを表現する。 本稿では,畳み込みカーネルを直接入力条件関数W(x)としてモデル化するメタ畳み込み層(MCL)を提案する。 MCLは標準の畳み込みを備えたプラグインで、CNNとトランスフォーマーのバックボーンの両方にシームレスに統合できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dynamic convolution enhances convolutional neural networks (CNNs) by adapting kernels to input content, but it expresses the effective kernel as a linear mixture of a small number of basis kernels, which limits expressivity and complicates optimization as the mixture size grows. In this work, we revisit dynamic convolution from a functional perspective and propose the Meta Convolution Layer (MCL), which directly models the convolutional kernel as an input-conditioned function W(x) realized via a high-order polynomial expansion. Leveraging nested residual blocks inspired by deep polynomial networks, MCL implements a structured polynomial meta-network that generates a single input-adaptive kernel, thereby decoupling representational power from the explicit number of mixture kernels and alleviating training instability. MCL is a plug-in addition with standard convolutions and can be seamlessly integrated into both CNN and transformer backbones. Experimental evaluation shows that adding MCL improves the Top-1 accuracy of Resnet- 18, Resnet-50 and ResNet-101 by 6.61%, 3.42% and 3.05% on the ImageNet dataset. Moreover, the proposed method significantly boosts the accuracy of Resnet and Wide-Resnet variants on CIFAR-10 and CIFAR-100 datasets. Additionally, the proposed method outperforms previous methods on fine-grained visual classification tasks using Swin and ViT backbones. These results demonstrate that high-order polynomial kernel generation is a powerful and scalable alternative to linear mixture based dynamic convolution.
• Abstract（参考訳）: 動的畳み込みは、カーネルを入力コンテンツに適応させることで畳み込みニューラルネットワーク(CNN)を強化するが、少数の基底カーネルの線形混合として有効カーネルを表現する。 本研究では,機能的観点から動的畳み込みを再考し,高次多項式展開によって実現された入力条件関数W(x)として,畳み込みカーネルを直接モデル化するメタ畳み込み層(MCL)を提案する。 MCLは、深い多項式ネットワークにインスパイアされたネストされた残留ブロックを活用し、単一の入力適応カーネルを生成する構造化多項式メタネットワークを実装し、これにより、混合カーネルの明示的な数から表現力を切り離し、トレーニング不安定を緩和する。 MCLは標準の畳み込みを備えたプラグインで、CNNとトランスフォーマーのバックボーンの両方にシームレスに統合できる。 MCLを追加することで、ImageNetデータセット上でResnet-18、Resnet-50、ResNet-101のTop-1精度が6.61%、3.42%、3.05%向上した。 さらに,提案手法は,CIFAR-10およびCIFAR-100データセット上でのResnetおよびWide-Resnetの精度を大幅に向上させる。 さらに,提案手法は,Swin と ViT のバックボーンを用いたきめ細かな視覚的分類作業において,従来の手法よりも優れていた。 これらの結果は、高次多項式カーネル生成が線形混合に基づく動的畳み込みに代わる強力でスケーラブルであることを示している。

関連論文リスト

• How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs [6.292820411382416]
  本稿では, ガウス過程の未利用選択分散が, 疎性誘導活性化を伴う深層ネットワークの訓練において重要であることを示す。 具体的には、ガウス過程のばらつきが大きくなる初期化により、DNNやCNNの90%の活性化間隔で表現性を向上させることができる。
  論文  参考訳（メタデータ） (2026-02-05T15:38:37Z)
• MID-L: Matrix-Interpolated Dropout Layer with Layer-wise Neuron Selection [0.0]
  Matrix-Interpolated Dropout Layer (MID-L) は、最も情報性の高いニューロンのみを動的に選択し、活性化する。 MNIST, CIFAR-10, CIFAR-100, SVHN, UCI adult, IMDB の6つのベンチマークによる実験の結果, MID-L は活動ニューロンの55%まで減少することがわかった。
  論文  参考訳（メタデータ） (2025-05-16T16:29:19Z)
• KernelDNA: Dynamic Kernel Sharing via Decoupled Naive Adapters [4.279428843696974]
  本稿では,カーネルDNAという軽量なコンボリューションカーネルプラグインを提案する。 カーネル適応を入力依存の動的ルーティングと事前訓練された静的変調に分離する。 画像分類と高密度予測タスクの実験により、カーネルDNAは動的畳み込み変種間の最先端の精度と効率のバランスを達成できることを示した。
  論文  参考訳（メタデータ） (2025-03-30T09:54:07Z)
• conv_einsum: A Framework for Representation and Fast Evaluation of Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
  本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
  論文  参考訳（メタデータ） (2024-01-07T04:30:12Z)
• Omni-Dimensional Dynamic Convolution [25.78940854339179]
  各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。 動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。 より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
  論文  参考訳（メタデータ） (2022-09-16T14:05:38Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• X-volution: On the unification of convolution and self-attention [52.80459687846842]
  本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。 提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
  論文  参考訳（メタデータ） (2021-06-04T04:32:02Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。