論文の概要: DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs

• arxiv url: http://arxiv.org/abs/2403.19588v2
• Date: Wed, 7 Aug 2024 15:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 17:20:23.136365
• Title: DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs
• Title（参考訳）: DenseNetsがリロード:ResNetsとViTsを超えたパラダイムシフト
• Authors: Donghyun Kim, Byeongho Heo, Dongyoon Han,
• Abstract要約: この論文はDensely Connected Convolutional Networks (DenseNets)を復活させる。 DenseNetsのポテンシャルは、未修正のトレーニングメソッドと従来のデザイン要素が機能を完全に明らかにしていないために見過ごされてしまったと信じています。 我々は,DenseNetスタイルの設計に対して新たな好みを定めながら,付加的なショートカットに対する結合のメリットを明らかにする経験的分析を行う。
• 参考スコア（独自算出の注目度）: 30.412909498409192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper revives Densely Connected Convolutional Networks (DenseNets) and reveals the underrated effectiveness over predominant ResNet-style architectures. We believe DenseNets' potential was overlooked due to untouched training methods and traditional design elements not fully revealing their capabilities. Our pilot study shows dense connections through concatenation are strong, demonstrating that DenseNets can be revitalized to compete with modern architectures. We methodically refine suboptimal components - architectural adjustments, block redesign, and improved training recipes towards widening DenseNets and boosting memory efficiency while keeping concatenation shortcuts. Our models, employing simple architectural elements, ultimately surpass Swin Transformer, ConvNeXt, and DeiT-III - key architectures in the residual learning lineage. Furthermore, our models exhibit near state-of-the-art performance on ImageNet-1K, competing with the very recent models and downstream tasks, ADE20k semantic segmentation, and COCO object detection/instance segmentation. Finally, we provide empirical analyses that uncover the merits of the concatenation over additive shortcuts, steering a renewed preference towards DenseNet-style designs. Our code is available at https://github.com/naver-ai/rdnet.
• Abstract（参考訳）: 本稿では、Densely Connected Convolutional Networks (DenseNets) を復活させ、主要なResNetスタイルのアーキテクチャに対する過小評価の有効性を明らかにする。 DenseNetsのポテンシャルは、未修正のトレーニングメソッドと従来のデザイン要素が機能を完全に明らかにしていないために見過ごされてしまったと信じています。 我々のパイロット研究は、結合による密接な接続が強く、DenseNetsがモダンなアーキテクチャと競合するために再活性化できることを示しています。 アーキテクチャの調整、ブロックの再設計、DenseNetの拡張とメモリ効率の向上のためのトレーニングレシピの改善など、サブ最適化コンポーネントを体系的に洗練し、短絡を維持しながら、メモリ効率を向上します。 私たちのモデルは、単純なアーキテクチャ要素を採用し、最終的にはSwin Transformer、ConvNeXt、そしてDeiT-III(残余学習系統における重要なアーキテクチャ)を上回ります。 さらに,本モデルでは,最新のモデルや下流タスク,ADE20kセマンティックセマンティックセマンティックセマンティクス,COCOオブジェクト検出/インスタンスセマンティクスと競合するImageNet-1Kの最先端性能を示す。 最後に,付加的なショートカットに対する結合の利点を明らかにする実証分析を行い,DenseNetスタイルの設計に対する新たな好みを定めている。 私たちのコードはhttps://github.com/naver-ai/rdnet.comで公開されています。

関連論文リスト

• ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
  完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。 この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
  論文  参考訳（メタデータ） (2023-01-02T18:59:31Z)
• Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
  本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。 我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-26T05:27:44Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Revisiting ResNets: Improved Training and Scaling Strategies [54.0162571976267]
  トレーニングとスケーリングの戦略は、アーキテクチャの変更よりも重要であり、その結果、ResNetは最新のモデルと一致します。 ベストパフォーマンスなスケーリング戦略は、トレーニング体制に依存することを示します。 私たちは、ResNetアーキテクチャのファミリー、ResNet-RSを設計します。ResNet-RSは、TPU上のEfficientNetsよりも1.7倍 - 2.7倍高速です。
  論文  参考訳（メタデータ） (2021-03-13T00:18:19Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Growing Efficient Deep Networks by Structured Continuous Sparsification [34.7523496790944]
  私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。 我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
  論文  参考訳（メタデータ） (2020-07-30T10:03:47Z)
• BiO-Net: Learning Recurrent Bi-directional Connections for Encoder-Decoder Architecture [82.64881585566825]
  本稿では,新たな双方向O字型ネットワーク(BiO-Net)を提案する。 提案手法は,バニラU-Netおよび他の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2020-07-01T05:07:49Z)
• Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets [6.09170287691728]
  CNNのための高効率なビルディングブロックとして,ブループリント分離型畳み込み(BSConv)を導入する。 それらは、訓練されたモデルからカーネル特性の定量的解析によって動機付けられている。 我々のアプローチは、深く分離可能な畳み込みの適用のために、完全な理論的導出、解釈、正当化を提供する。
  論文  参考訳（メタデータ） (2020-03-30T15:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。