論文の概要: Improving Model Generalization by Agreement of Learned Representations
from Data Augmentation
- arxiv url: http://arxiv.org/abs/2110.10536v1
- Date: Wed, 20 Oct 2021 12:44:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-23 20:24:07.588252
- Title: Improving Model Generalization by Agreement of Learned Representations
from Data Augmentation
- Title(参考訳): データ拡張による学習表現の合意によるモデル一般化の改善
- Authors: Rowel Atienza
- Abstract要約: コンピュータビジョンでは、CutOut、MixUp、CutMixといったデータ拡張技術が最先端(SOTA)の結果を示した。
我々は提案したメソッド合意の最大化あるいは単にAgMaxと呼ぶ。
我々は、AgMaxがデータ拡張の利点を生かし、モデル一般化を大幅なマージンで継続的に改善できることを示します。
- 参考スコア(独自算出の注目度): 19.286766429954174
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Data augmentation reduces the generalization error by forcing a model to
learn invariant representations given different transformations of the input
image. In computer vision, on top of the standard image processing functions,
data augmentation techniques based on regional dropout such as CutOut, MixUp,
and CutMix and policy-based selection such as AutoAugment demonstrated
state-of-the-art (SOTA) results. With an increasing number of data augmentation
algorithms being proposed, the focus is always on optimizing the input-output
mapping while not realizing that there might be an untapped value in the
transformed images with the same label. We hypothesize that by forcing the
representations of two transformations to agree, we can further reduce the
model generalization error. We call our proposed method Agreement Maximization
or simply AgMax. With this simple constraint applied during training, empirical
results show that data augmentation algorithms can further improve the
classification accuracy of ResNet50 on ImageNet by up to 1.5%, WideResNet40-2
on CIFAR10 by up to 0.7%, WideResNet40-2 on CIFAR100 by up to 1.6%, and LeNet5
on Speech Commands Dataset by up to 1.4%. Experimental results further show
that unlike other regularization terms such as label smoothing, AgMax can take
advantage of the data augmentation to consistently improve model generalization
by a significant margin. On downstream tasks such as object detection and
segmentation on PascalVOC and COCO, AgMax pre-trained models outperforms other
data augmentation methods by as much as 1.0mAP (box) and 0.5mAP (mask). Code is
available at https://github.com/roatienza/agmax.
- Abstract(参考訳): データ拡張は、入力画像の異なる変換に対する不変表現の学習をモデルに強制することで一般化誤差を低減する。
コンピュータビジョンでは、標準的な画像処理機能に加えて、CutOut、MixUp、CutMixなどの地域ドロップアウトに基づくデータ拡張技術やAutoAugmentのようなポリシーベースの選択は、最先端(SOTA)の結果を示した。
データ拡張アルゴリズムが提案されているため、常に入出力マッピングの最適化に重点を置いているが、同じラベルで変換された画像に未入力の値があるとは認識していない。
2つの変換の表現を一致させることで、モデルの一般化誤差をさらに減らすことができると仮定する。
我々は提案手法を最大化あるいは単にagmaxと呼ぶ。
この単純な制約をトレーニング中に適用することで、データ拡張アルゴリズムはimagenetのresnet50の分類精度を最大1.5%、cifar10のesnet40-2を最大0.7%、cifar100のsnet40-2を最大1.6%、音声コマンドデータセットのlenet5を最大1.4%向上させることができる。
さらに実験結果から,ラベルの平滑化など他の正規化用語とは異なり,AgMaxはデータ拡張を利用してモデルの一般化を一定のマージンで一貫的に改善できることを示した。
PascalVOCとCOCOのオブジェクト検出やセグメンテーションなどの下流タスクでは、AgMax事前訓練されたモデルは、1.0mAP(ボックス)と0.5mAP(マスク)で他のデータ拡張メソッドよりも優れている。
コードはhttps://github.com/roatienza/agmaxで入手できる。
関連論文リスト
- Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness
with Dataset Reinforcement [68.44100784364987]
本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。
ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。
ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
論文 参考訳(メタデータ) (2023-03-15T23:10:17Z) - Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。
本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。
本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-12-04T07:26:24Z) - Soft Augmentation for Image Classification [68.71067594724663]
本稿では,変分変換による拡張の一般化とソフト拡張を提案する。
ソフトターゲットは、より攻撃的なデータ拡張を可能にすることを示す。
また,ソフト拡張が自己教師付き分類タスクに一般化されることも示している。
論文 参考訳(メタデータ) (2022-11-09T01:04:06Z) - ParticleAugment: Sampling-Based Data Augmentation [80.44268663372233]
モデルトレーニング中に最適な拡張ポリシーとスケジュールを求めるために,粒子フィルタリングの定式化を提案する。
CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 自動拡張のための定式化が有望な結果に達することを示す。
論文 参考訳(メタデータ) (2021-06-16T10:56:02Z) - InAugment: Improving Classifiers via Internal Augmentation [14.281619356571724]
本稿では,画像内部統計を活用した新しい拡張操作を提案する。
最先端の増補技術による改善を示す。
また,imagenetデータセット上では,resnet50 と efficientnet-b3 top-1 の精度も向上している。
論文 参考訳(メタデータ) (2021-04-08T15:37:21Z) - Learning Representational Invariances for Data-Efficient Action
Recognition [52.23716087656834]
我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。
また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
論文 参考訳(メタデータ) (2021-03-30T17:59:49Z) - Augmentation Inside the Network [1.5260179407438161]
本稿では,コンピュータビジョン問題に対するデータ拡張手法をシミュレートする手法であるネットワーク内の拡張について述べる。
本稿では,画像分類のためのImageNet-2012およびCIFAR-100データセットについて検証する。
論文 参考訳(メタデータ) (2020-12-19T20:07:03Z) - FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning [64.32306537419498]
本稿では,複雑な変換を多様に生成する特徴量に基づく改良・拡張手法を提案する。
これらの変換は、クラスタリングを通じて抽出したクラス内およびクラス間の両方の情報も利用します。
提案手法は,大規模データセットにスケールアップしながら,より小さなデータセットに対して,現在の最先端技術に匹敵するものであることを実証する。
論文 参考訳(メタデータ) (2020-07-16T17:55:31Z) - On the Generalization Effects of Linear Transformations in Data
Augmentation [32.01435459892255]
データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善するための強力な技術である。
我々は線形変換の族を研究し、過度にパラメータ化された線形回帰設定におけるリッジ推定器への影響について研究する。
本稿では,モデルが変換データに対してどの程度不確実であるかによって,変換空間を探索する拡張手法を提案する。
論文 参考訳(メタデータ) (2020-05-02T04:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。