論文の概要: Designing Concise ConvNets with Columnar Stages

• arxiv url: http://arxiv.org/abs/2410.04089v1
• Date: Sat, 5 Oct 2024 09:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 14:11:13.006143
• Title: Designing Concise ConvNets with Columnar Stages
• Title（参考訳）: カラムステージによる簡潔なConvNetの設計
• Authors: Ashish Kumar, Jaesik Park,
• Abstract要約: 我々はCoSNet(Columnar Stage Network)と呼ばれるリフレッシュなConvNetマクロ設計を導入する。 CoSNetは、体系的に開発されたシンプルで簡潔な構造、より小さな深さ、低いパラメータ数、低いFLOP、注意のない操作を持つ。 評価の結果、CoSNetはリソース制約のあるシナリオ下で多くの有名なConvNetやTransformerの設計に匹敵していることがわかった。
• 参考スコア（独自算出の注目度）: 33.248031676529635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of vision Transformers, the recent success of VanillaNet shows the huge potential of simple and concise convolutional neural networks (ConvNets). Where such models mainly focus on runtime, it is also crucial to simultaneously focus on other aspects, e.g., FLOPs, parameters, etc, to strengthen their utility further. To this end, we introduce a refreshing ConvNet macro design called Columnar Stage Network (CoSNet). CoSNet has a systematically developed simple and concise structure, smaller depth, low parameter count, low FLOPs, and attention-less operations, well suited for resource-constrained deployment. The key novelty of CoSNet is deploying parallel convolutions with fewer kernels fed by input replication, using columnar stacking of these convolutions, and minimizing the use of 1x1 convolution layers. Our comprehensive evaluations show that CoSNet rivals many renowned ConvNets and Transformer designs under resource-constrained scenarios. Code: https://github.com/ashishkumar822/CoSNet
• Abstract（参考訳）: ビジョントランスフォーマーの時代、最近のVanillaNetの成功は、シンプルで簡潔な畳み込みニューラルネットワーク(ConvNets)の巨大な可能性を示している。 このようなモデルが主にランタイムに焦点を当てている場合、他の側面(例えば、FLOP、パラメータなど)に同時にフォーカスして、それらのユーティリティを強化することも重要です。 この目的のために,CoSNet(Columnar Stage Network)と呼ばれるリフレッシュなConvNetマクロ設計を導入する。 CoSNetは、体系的に開発されたシンプルで簡潔な構造、より小さな深さ、低いパラメータ数、低いFLOP、そして、リソース制約された展開に適した注意のない操作を持つ。 CoSNetの重要な特徴は、入力レプリケーションによって供給されるカーネルが少ない並列畳み込みをデプロイし、これらの畳み込みの列の積み重ねを使用し、1x1畳み込みレイヤの使用を最小限にすることである。 包括的評価の結果,CoSNet はリソース制約シナリオ下で多くの有名な ConvNet や Transformer の設計に匹敵していることがわかった。 コード:https://github.com/ashishkumar822/CoSNet

関連論文リスト

• UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition [61.01408259741114]
  大規模なカーネルベースの畳み込みニューラルネットワーク(ConvNets)を設計するための4つのアーキテクチャガイドラインを提案する。 提案する大規模カーネルベースのConvNetは,画像認識における主要な性能を示す。 大規模なカーネルが、もともと熟練していないドメインにおいて、ConvNetの例外的なパフォーマンスを解放する鍵であることを発見した。
  論文  参考訳（メタデータ） (2023-11-27T07:48:50Z)
• Are Large Kernels Better Teachers than Transformers for ConvNets? [82.4742785108714]
  本稿では,最近出現した大規模カーネル畳み込みニューラルネットワーク(ConvNets)の新たな魅力を明らかにする。
  論文  参考訳（メタデータ） (2023-05-30T21:05:23Z)
• Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition [158.15602882426379]
  本稿では,視覚認識のための最先端の手法を設計しようとはしないが,空間的特徴を符号化するために畳み込みを利用するより効率的な方法について検討する。 近年の畳み込みニューラルネットワーク(ConvNet)と視覚変換器(Vision Transformers)の設計原理を比較することにより,畳み込み変調操作を活用することで自己意識をシンプルにすることを提案する。
  論文  参考訳（メタデータ） (2022-11-22T01:39:45Z)
• MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
  我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
  論文  参考訳（メタデータ） (2022-11-07T04:31:17Z)
• ConTNet: Why not use convolution and transformer at the same time? [28.343371000297747]
  トランスとConvNetアーキテクチャを組み合わせて、大きなレセプティブフィールドを提供するConTNetを提案します。 画像分類と下流タスクにおけるその優位性と有効性を提示する。 ConTNetがCVタスクの有用なバックボーンとなり、モデル設計に新しいアイデアをもたらすことを期待しています。
  論文  参考訳（メタデータ） (2021-04-27T22:29:55Z)
• Capsule Network is Not More Robust than Convolutional Network [21.55939814377377]
  本稿では,イメージ分類によく使用されるConvNetと異なるCapsNetの特殊設計について検討する。 研究によると、CapsNetに批判的と思われるいくつかのデザインは、実際にその堅牢性を損なう可能性がある。 CapsNetの成功を支える重要なコンポーネントを導入するだけで、強化されたConvNetsを提案します。
  論文  参考訳（メタデータ） (2021-03-29T09:47:00Z)
• Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training [44.66478612082257]
  現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。 畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T00:33:04Z)
• ResNet or DenseNet? Introducing Dense Shortcuts to ResNet [80.35001540483789]
  本稿では、それらを解析するために高密度和の統一的な視点を示す。 本稿では,ResNetとDenseNetのジレンマに対する解法として,重み付き正規化ショートカットを提案する。 提案したDSNetはResNetよりもはるかに優れた結果を得ることができ、DenseNetと同等の性能を得るが、リソースは少ない。
  論文  参考訳（メタデータ） (2020-10-23T16:00:15Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。