論文の概要: KernelDNA: Dynamic Kernel Sharing via Decoupled Naive Adapters
- arxiv url: http://arxiv.org/abs/2503.23379v1
- Date: Sun, 30 Mar 2025 09:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 19:35:57.094095
- Title: KernelDNA: Dynamic Kernel Sharing via Decoupled Naive Adapters
- Title（参考訳）: KernelDNA: Decoupled Naive Adaptersによる動的カーネル共有
- Authors: Haiduo Huang, Yadong Zhang, Pengju Ren,
- Abstract要約: 本稿では,カーネルDNAという軽量なコンボリューションカーネルプラグインを提案する。
カーネル適応を入力依存の動的ルーティングと事前訓練された静的変調に分離する。
画像分類と高密度予測タスクの実験により、カーネルDNAは動的畳み込み変種間の最先端の精度と効率のバランスを達成できることを示した。
- 参考スコア（独自算出の注目度）: 4.279428843696974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic convolution enhances model capacity by adaptively combining multiple kernels, yet faces critical trade-offs: prior works either (1) incur significant parameter overhead by scaling kernel numbers linearly, (2) compromise inference speed through complex kernel interactions, or (3) struggle to jointly optimize dynamic attention and static kernels. We also observe that pre-trained Convolutional Neural Networks (CNNs) exhibit inter-layer redundancy akin to that in Large Language Models (LLMs). Specifically, dense convolutional layers can be efficiently replaced by derived ``child" layers generated from a shared ``parent" convolutional kernel through an adapter. To address these limitations and implement the weight-sharing mechanism, we propose a lightweight convolution kernel plug-in, named KernelDNA. It decouples kernel adaptation into input-dependent dynamic routing and pre-trained static modulation, ensuring both parameter efficiency and hardware-friendly inference. Unlike existing dynamic convolutions that expand parameters via multi-kernel ensembles, our method leverages cross-layer weight sharing and adapter-based modulation, enabling dynamic kernel specialization without altering the standard convolution structure. This design preserves the native computational efficiency of standard convolutions while enhancing representation power through input-adaptive kernel adjustments. Experiments on image classification and dense prediction tasks demonstrate that KernelDNA achieves state-of-the-art accuracy-efficiency balance among dynamic convolution variants. Our codes are available at https://github.com/haiduo/KernelDNA.
- Abstract（参考訳）: 動的畳み込みは、複数のカーネルを適応的に組み合わせることでモデルのキャパシティを向上させるが、重要なトレードオフに直面している。
また,事前学習した畳み込みニューラルネットワーク(CNN)は,Large Language Models(LLMs)と同様の層間冗長性を示す。
具体的には、密度の高い畳み込み層は、アダプタを介して共有された「親」畳み込みカーネルから生成された「子」層に効率的に置き換えることができる。
これらの制限に対処し、ウェイトシェアリング機構を実装するために、KernelDNAという軽量な畳み込みカーネルプラグインを提案する。
カーネル適応を入力依存の動的ルーティングと事前訓練された静的変調に分離し、パラメータ効率とハードウェアフレンドリーな推論の両方を保証する。
マルチカーネルアンサンブルを介してパラメータを拡大する既存の動的畳み込みとは異なり、本手法はクロス層重み共有とアダプタベースの変調を活用し、標準畳み込み構造を変更することなく動的カーネルの特殊化を可能にする。
この設計は、入力適応カーネル調整による表現力を高めつつ、標準畳み込みのネイティブな計算効率を保っている。
画像分類と高密度予測タスクの実験により、カーネルDNAは動的畳み込み変種間の最先端の精度と効率のバランスを達成できることを示した。
私たちのコードはhttps://github.com/haiduo/KernelDNAで公開されています。
関連論文リスト
- Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity [11.644182973599788]
対角適応カーネルモデルは、トレーニング中にカーネル固有値と出力係数を同時に学習する。
適応性は、トレーニング中に正しい固有値を学ぶことから生じることを示す。
論文 参考訳（メタデータ） (2025-01-15T09:20:02Z) - KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。
我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
論文 参考訳（メタデータ） (2024-06-12T05:16:26Z) - Kernel-U-Net: Multivariate Time Series Forecasting using Custom Kernels [1.8816077341295625]
Kernel-U-Netは、柔軟でカーネルにカスタマイズ可能なU字型ニューラルネットワークアーキテクチャである。
具体的には、カーネル-U-Netは入力時系列をカーネル操作からパッチに分割する手順を分離する。
1)特定のデータセットに適応するためのカーネルのカスタマイズの柔軟性、2)トランスフォーマー層の複雑さを線形に減らした計算効率の向上、である。
論文 参考訳（メタデータ） (2024-01-03T00:49:51Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Omni-Dimensional Dynamic Convolution [25.78940854339179]
各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。
動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。
より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
論文 参考訳（メタデータ） (2022-09-16T14:05:38Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - X-volution: On the unification of convolution and self-attention [52.80459687846842]
本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。
提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
論文 参考訳（メタデータ） (2021-06-04T04:32:02Z) - Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである
本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。
合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2021-03-29T22:37:06Z) - Revisiting Dynamic Convolution via Matrix Decomposition [81.89967403872147]
チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。
本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
論文 参考訳（メタデータ） (2021-03-15T23:03:18Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。