論文の概要: ResNet strikes back: An improved training procedure in timm

• arxiv url: http://arxiv.org/abs/2110.00476v1
• Date: Fri, 1 Oct 2021 15:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:34:25.594502
• Title: ResNet strikes back: An improved training procedure in timm
• Title（参考訳）: ResNetが反撃:Timmのトレーニング手順の改善
• Authors: Ross Wightman, Hugo Touvron, Herv\'e J\'egou
• Abstract要約: 我々は,バニラResNet-50の性能を再評価する。 競争力のあるトレーニング設定と事前トレーニングされたモデルをオープンソースライブラリで共有しています。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The influential Residual Networks designed by He et al. remain the gold-standard architecture in numerous scientific publications. They typically serve as the default architecture in studies, or as baselines when new architectures are proposed. Yet there has been significant progress on best practices for training neural networks since the inception of the ResNet architecture in 2015. Novel optimization & data-augmentation have increased the effectiveness of the training recipes. In this paper, we re-evaluate the performance of the vanilla ResNet-50 when trained with a procedure that integrates such advances. We share competitive training settings and pre-trained models in the timm open-source library, with the hope that they will serve as better baselines for future work. For instance, with our more demanding training setting, a vanilla ResNet-50 reaches 80.4% top-1 accuracy at resolution 224x224 on ImageNet-val without extra data or distillation. We also report the performance achieved with popular models with our training procedure.
• Abstract（参考訳）: Heらによって設計された影響力のある残留ネットワークは、多くの科学出版物においてゴールドスタンダードアーキテクチャのままである。 これらは通常、研究におけるデフォルトアーキテクチャ、または新しいアーキテクチャが提案されたときにベースラインとして機能する。 しかし、2015年のResNetアーキテクチャの導入以来、ニューラルネットワークのトレーニングに関するベストプラクティスが大幅に進歩している。 新たな最適化とデータ提供により、トレーニングレシピの有効性が向上した。 本稿では,このような進歩を統合する手順で訓練された場合,バニラresnet-50の性能を再評価する。 私たちはtimmオープンソースライブラリで、競争力のあるトレーニング設定と事前トレーニング済みモデルを共有しています。 例えば、より要求の多いトレーニング設定で、バニラresnet-50は、追加のデータや蒸留なしでimagenet-valの解像度224x224で80.4%のtop-1精度に達する。 また、トレーニング手順で人気モデルで達成した性能を報告する。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification [36.651329027209634]
  LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。 特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T17:59:10Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)
• The Untapped Potential of Off-the-Shelf Convolutional Neural Networks [29.205446247063673]
  ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。 このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
  論文  参考訳（メタデータ） (2021-03-17T20:04:46Z)
• Revisiting ResNets: Improved Training and Scaling Strategies [54.0162571976267]
  トレーニングとスケーリングの戦略は、アーキテクチャの変更よりも重要であり、その結果、ResNetは最新のモデルと一致します。 ベストパフォーマンスなスケーリング戦略は、トレーニング体制に依存することを示します。 私たちは、ResNetアーキテクチャのファミリー、ResNet-RSを設計します。ResNet-RSは、TPU上のEfficientNetsよりも1.7倍 - 2.7倍高速です。
  論文  参考訳（メタデータ） (2021-03-13T00:18:19Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• TResNet: High Performance GPU-Dedicated Architecture [6.654949459658242]
  近年開発された多くのディープラーニングモデルは、FLOPS数が少なく、ResNet50よりもImageNetの精度が高い。 本稿では、GPUトレーニングと推論効率を維持しながら、ニューラルネットワークの精度を高めることを目的としたアーキテクチャ修正のシリーズを紹介する。 我々は、従来のConvNetよりも精度と効率を向上する、TResNetと呼ばれるGPU専用モデルの新しいファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-03-30T17:04:47Z)
• Compounding the Performance Improvements of Assembled Techniques in a Convolutional Neural Network [6.938261599173859]
  基本CNNモデルの精度とロバスト性を改善する方法について述べる。 提案したResNet-50は、トップ1の精度を76.3%から82.78%、mCEを76.0%から48.9%、mFRを57.7%から32.3%に改善した。 CVPR 2019でiFood Competition Fine-Grained Visual Recognitionで1位を獲得した。
  論文  参考訳（メタデータ） (2020-01-17T12:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。