論文の概要: Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness
with Dataset Reinforcement
- arxiv url: http://arxiv.org/abs/2303.08983v3
- Date: Fri, 22 Sep 2023 17:36:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 19:15:54.206558
- Title: Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness
with Dataset Reinforcement
- Title（参考訳）: 強化データと乗算影響: モデル精度の向上とデータセット強化によるロバスト性
- Authors: Fartash Faghri, Hadi Pouransari, Sachin Mehta, Mehrdad Farajtabar, Ali
Farhadi, Mohammad Rastegari, Oncel Tuzel
- Abstract要約: 本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。
ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。
ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
- 参考スコア（独自算出の注目度）: 68.44100784364987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Dataset Reinforcement, a strategy to improve a dataset once such
that the accuracy of any model architecture trained on the reinforced dataset
is improved at no additional training cost for users. We propose a Dataset
Reinforcement strategy based on data augmentation and knowledge distillation.
Our generic strategy is designed based on extensive analysis across CNN- and
transformer-based models and performing large-scale study of distillation with
state-of-the-art models with various data augmentations. We create a reinforced
version of the ImageNet training dataset, called ImageNet+, as well as
reinforced datasets CIFAR-100+, Flowers-102+, and Food-101+. Models trained
with ImageNet+ are more accurate, robust, and calibrated, and transfer well to
downstream tasks (e.g., segmentation and detection). As an example, the
accuracy of ResNet-50 improves by 1.7% on the ImageNet validation set, 3.5% on
ImageNetV2, and 10.0% on ImageNet-R. Expected Calibration Error (ECE) on the
ImageNet validation set is also reduced by 9.9%. Using this backbone with
Mask-RCNN for object detection on MS-COCO, the mean average precision improves
by 0.8%. We reach similar gains for MobileNets, ViTs, and Swin-Transformers.
For MobileNetV3 and Swin-Tiny, we observe significant improvements on
ImageNet-R/A/C of up to 20% improved robustness. Models pretrained on ImageNet+
and fine-tuned on CIFAR-100+, Flowers-102+, and Food-101+, reach up to 3.4%
improved accuracy. The code, datasets, and pretrained models are available at
https://github.com/apple/ml-dr.
- Abstract（参考訳）: 我々は,強化データセット上でトレーニングされたモデルアーキテクチャの精度を,ユーザにとって追加のトレーニングコストなしで向上させるように,データセットを改善するための戦略であるデータセット強化を提案する。
本稿では,データ拡張と知識蒸留に基づくデータセット強化戦略を提案する。
提案手法は,CNNモデルおよびトランスフォーマーモデルにまたがる広範囲な解析に基づいて設計され,各種データ拡張を伴う最先端モデルによる蒸留の大規模研究を行う。
ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化データセットCIFAR-100+、Flowers-102+、Food-101+を作成します。
ImageNet+でトレーニングされたモデルはより正確で堅牢で校正され、下流のタスク(セグメンテーションや検出など)にうまく転送される。
例えば、ResNet-50の精度はImageNet検証セットで1.7%、ImageNetV2で3.5%、ImageNet-Rで10.0%向上している。
ImageNet検証セットのキャリブレーションエラー(ECE)も9.9%削減された。
このバックボーンをMask-RCNNでMS-COCOの物体検出に使用すると、平均精度は0.8%向上する。
MobileNets、ViTs、Swin-Transformersも同様に伸びています。
MobileNetV3とSwin-Tinyでは、ImageNet-R/A/Cの大幅な改善が最大20%改善された。
ImageNet+で事前訓練され、CIFAR-100+、Flowers-102+、Food-101+で微調整されたモデルでは、精度が3.4%向上した。
コード、データセット、事前訓練されたモデルはhttps://github.com/apple/ml-dr.comで入手できる。
関連論文リスト
- Does progress on ImageNet transfer to real-world datasets? [28.918770106968843]
6つの実用的な画像分類データセットに対して,画像ネット事前学習モデルの評価を行った。
複数のデータセットでは、ImageNetの精度が高いモデルでは、継続的にパフォーマンスが向上するわけではない。
将来のベンチマークには、より多様なデータセットが含まれて、学習アルゴリズムを改善するためのより包括的なアプローチが奨励されることを期待しています。
論文 参考訳（メタデータ） (2023-01-11T18:55:53Z) - Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。
本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。
本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
論文 参考訳（メタデータ） (2022-12-04T07:26:24Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。
トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。
実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文 参考訳（メタデータ） (2021-04-01T07:08:36Z) - Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。
ベースライン上での精度と学習収束性を一貫した改善を示す。
提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文 参考訳（メタデータ） (2020-04-10T11:09:50Z) - TResNet: High Performance GPU-Dedicated Architecture [6.654949459658242]
近年開発された多くのディープラーニングモデルは、FLOPS数が少なく、ResNet50よりもImageNetの精度が高い。
本稿では、GPUトレーニングと推論効率を維持しながら、ニューラルネットワークの精度を高めることを目的としたアーキテクチャ修正のシリーズを紹介する。
我々は、従来のConvNetよりも精度と効率を向上する、TResNetと呼ばれるGPU専用モデルの新しいファミリーを紹介する。
論文 参考訳（メタデータ） (2020-03-30T17:04:47Z) - Fixing the train-test resolution discrepancy: FixEfficientNet [98.64315617109344]
本稿では,複数のトレーニング手順を用いて,効率的なNet画像分類器の性能解析を行う。
FixEfficientNetと呼ばれる結果のネットワークは、同じ数のパラメータで初期アーキテクチャを著しく上回る。
論文 参考訳（メタデータ） (2020-03-18T14:22:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。