論文の概要: GhostNetV3: Exploring the Training Strategies for Compact Models

• arxiv url: http://arxiv.org/abs/2404.11202v2
• Date: Mon, 22 Apr 2024 02:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 12:48:38.743045
• Title: GhostNetV3: Exploring the Training Strategies for Compact Models
• Title（参考訳）: GhostNetV3: コンパクトモデルのためのトレーニング戦略を探る
• Authors: Zhenhua Liu, Zhiwei Hao, Kai Han, Yehui Tang, Yunhe Wang,
• Abstract要約: コンパクトモデルのための強力なトレーニング戦略を導入する。 高性能コンパクトモデルの訓練には,再パラメータ化と知識蒸留の適切な設計が不可欠であることがわかった。 我々の戦略により、GhostNetV3 1.3$times$は269MのFLOPと14.46msのレイテンシで、トップ1の精度79.1%を達成する。
• 参考スコア（独自算出の注目度）: 41.63605520952545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compact neural networks are specially designed for applications on edge devices with faster inference speed yet modest performance. However, training strategies of compact models are borrowed from that of conventional models at present, which ignores their difference in model capacity and thus may impede the performance of compact models. In this paper, by systematically investigating the impact of different training ingredients, we introduce a strong training strategy for compact models. We find that the appropriate designs of re-parameterization and knowledge distillation are crucial for training high-performance compact models, while some commonly used data augmentations for training conventional models, such as Mixup and CutMix, lead to worse performance. Our experiments on ImageNet-1K dataset demonstrate that our specialized training strategy for compact models is applicable to various architectures, including GhostNetV2, MobileNetV2 and ShuffleNetV2. Specifically, equipped with our strategy, GhostNetV3 1.3$\times$ achieves a top-1 accuracy of 79.1% with only 269M FLOPs and a latency of 14.46ms on mobile devices, surpassing its ordinarily trained counterpart by a large margin. Moreover, our observation can also be extended to object detection scenarios. PyTorch code and checkpoints can be found at https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv3_pytorch.
• Abstract（参考訳）: コンパクトニューラルネットワークは、推論速度が速いが控えめなパフォーマンスを持つエッジデバイス上での応用に特化して設計されている。 しかし, コンパクトモデルの学習戦略は, モデルキャパシティの違いを無視し, コンパクトモデルの性能を損なうおそれがあるため, 従来のモデルから借用されている。 本稿では,異なるトレーニング要素の影響を体系的に調査することにより,コンパクトモデルに対する強力なトレーニング戦略を提案する。 従来のモデル(MixupやCutMixなど)のトレーニングによく使われるデータ拡張は、性能が悪化する一方、高性能なコンパクトモデルのトレーニングには、再パラメータ化と知識蒸留の適切な設計が不可欠であることがわかった。 ImageNet-1Kデータセットを用いた実験により,GhostNetV2,MobileNetV2,ShuffleNetV2など,コンパクトモデルの特別なトレーニング戦略が,さまざまなアーキテクチャに適用可能であることが示された。 具体的には、GhostNetV3 1.3$\times$は269MのFLOPと14.46msのレイテンシでトップ1の精度79.1%を達成する。 さらに、我々の観測はオブジェクト検出のシナリオにも拡張できる。 PyTorchのコードとチェックポイントはhttps://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv3_pytorchにある。

関連論文リスト

• ATOM: Asynchronous Training of Massive Models for Deep Learning in a Decentralized Environment [7.916080032572087]
  Atomは、分散化された環境で巨大なモデルの非同期トレーニング用に設計された、レジリエントな分散トレーニングフレームワークである。 atomは、スワップをシームレスにモデルし、トレーニングスループットを最適化するために複数のコピーを同時にトレーニングすることで、1つのホスト(ピア)に完全なLLMを適合させることを目的としている。 異なるGPT-3モデル構成を用いて実験したところ、最適ネットワーク接続のシナリオでは、原子は最先端の分散パイプライン並列化アプローチを組み込んだ場合、トレーニング効率を最大20倍に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:43:43Z)
• MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training [17.158498267947877]
  ランタイム性能に最適化された画像テキストモデルの新たなファミリであるMobileCLIPを紹介する。 MobileCLIPは、画像キャプションモデルと強力なCLIPエンコーダのアンサンブルからの知識伝達を使用して、効率的なモデルの精度を向上させる。 我々のアプローチは、強化データセットに付加的な知識を格納することで、列車時の計算オーバーヘッドを回避する。
  論文  参考訳（メタデータ） (2023-11-28T18:55:42Z)
• Stitched ViTs are Flexible Vision Backbones [51.441023711924835]
  我々は、縫合可能なニューラルネットワーク(SN-Net)にインスパイアされ、訓練済みのモデルファミリーを縫合することで、リッチワークをカバーする単一のモデルを生成する。 我々は、下流タスク適応を容易にするために、体系的に改良されたモデル縫合フレームワークSN-Netv2を紹介する。 SN-Netv2は、下流の高密度予測においてSN-Netv1よりも優れた性能を示し、柔軟なビジョンバックボーンとして強力な能力を示している。
  論文  参考訳（メタデータ） (2023-06-30T22:05:34Z)
• Deep Model Assembling [31.88606253639418]
  本稿では,大規模モデルをトレーニングするための分割・分散戦略について検討する。 大きなモデルを小さなモジュールに分割し、個別にトレーニングし、トレーニングされたモジュールを再組み立てしてターゲットモデルを取得する。 すべてのモジュールを暗黙的にリンクするグローバルな共有メタモデルを導入します。 これにより、組み立てられた時に効果的に協調する高度に互換性のあるモジュールをトレーニングできます。
  論文  参考訳（メタデータ） (2022-12-08T08:04:06Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• A Simple Structure For Building A Robust Model [7.8383976168377725]
  本研究では,ある程度のロバスト性を持つモデルを構築するためのシンプルなアーキテクチャを提案し,協調学習のための対向サンプル検出ネットワークを追加することにより,トレーニングネットワークのロバスト性を向上させる。 我々はCifar10データセットに基づいて,この設計の有効性をテストする実験を行った。
  論文  参考訳（メタデータ） (2022-04-25T12:30:35Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Multiple Run Ensemble Learning withLow-Dimensional Knowledge Graph Embeddings [4.317340121054659]
  知識グラフ埋め込み(KGE)モデルのためのシンプルで効果的なパフォーマンス向上戦略を提案する。 モデルのトレーニングを200の埋め込みサイズと並行して6回繰り返し、テストのために6つの別々のモデルを組み合わせています。 このアプローチにより,様々なグラフパターンをモデル化する上で,様々なモデルがよりうまく対処できることが示される。
  論文  参考訳（メタデータ） (2021-04-11T12:26:50Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。