論文の概要: Instance-Conditioned GAN Data Augmentation for Representation Learning
- arxiv url: http://arxiv.org/abs/2303.09677v1
- Date: Thu, 16 Mar 2023 22:45:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 16:07:47.201309
- Title: Instance-Conditioned GAN Data Augmentation for Representation Learning
- Title(参考訳): インスタンス記述型GANデータ拡張による表現学習
- Authors: Pietro Astolfi, Arantxa Casanova, Jakob Verbeek, Pascal Vincent,
Adriana Romero-Soriano, Michal Drozdzal
- Abstract要約: DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。
DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。
また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
- 参考スコア(独自算出の注目度): 29.36473147430433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation has become a crucial component to train state-of-the-art
visual representation models. However, handcrafting combinations of
transformations that lead to improved performances is a laborious task, which
can result in visually unrealistic samples. To overcome these limitations,
recent works have explored the use of generative models as learnable data
augmentation tools, showing promising results in narrow application domains,
e.g., few-shot learning and low-data medical imaging. In this paper, we
introduce a data augmentation module, called DA_IC-GAN, which leverages
instance-conditioned GAN generations and can be used off-the-shelf in
conjunction with most state-of-the-art training recipes. We showcase the
benefits of DA_IC-GAN by plugging it out-of-the-box into the supervised
training of ResNets and DeiT models on the ImageNet dataset, and achieving
accuracy boosts up to between 1%p and 2%p with the highest capacity models.
Moreover, the learnt representations are shown to be more robust than the
baselines when transferred to a handful of out-of-distribution datasets, and
exhibit increased invariance to variations of instance and viewpoints. We
additionally couple DA_IC-GAN with a self-supervised training recipe and show
that we can also achieve an improvement of 1%p in accuracy in some settings.
With this work, we strengthen the evidence on the potential of learnable data
augmentations to improve visual representation learning, paving the road
towards non-handcrafted augmentations in model training.
- Abstract(参考訳): データ拡張は最先端のビジュアル表現モデルをトレーニングするための重要なコンポーネントになっている。
しかし、パフォーマンス改善につながる変換のハンドクラフトの組み合わせは、難しい作業であり、視覚的に非現実的なサンプルをもたらす可能性がある。
これらの限界を克服するために、最近の研究は学習可能なデータ拡張ツールとして生成モデルの使用を探求し、限られたアプリケーションドメイン(例えば、少数ショット学習や低データ医療画像など)で有望な結果を示している。
本稿では,インスタンス条件付きgan生成を利用したデータ拡張モジュールda_ic-ganについて紹介する。
本稿では,imagenetデータセット上のresnetsおよびdeitモデルの教師付きトレーニングに最初から接続することで,da_ic-ganの利点を示し,高容量モデルでは1%pから2%pまでの精度向上を実現する。
さらに、学習表現は、一握りの分散データセットに転送された場合、ベースラインよりも頑健であることが示され、インスタンスやビューのバリエーションに対するばらつきが増大する。
また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上を実現できることを示す。
この研究により、学習可能なデータ拡張の可能性に関する証拠を強化し、視覚表現学習を改善し、モデルトレーニングにおける非手作業による強化への道を開く。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳(メタデータ) (2023-11-03T06:34:37Z) - DualAug: Exploiting Additional Heavy Augmentation with OOD Data
Rejection [77.6648187359111]
そこで本稿では,textbfDualAug という新しいデータ拡張手法を提案する。
教師付き画像分類ベンチマークの実験では、DualAugは様々な自動データ拡張法を改善している。
論文 参考訳(メタデータ) (2023-10-12T08:55:10Z) - Adversarial Training Helps Transfer Learning via Better Representations [17.497590668804055]
Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。
最近の研究は、情報源データにおける敵対的訓練が、新しいドメインへのモデル転送能力を向上させることを実証的に実証している。
本研究は, 情報源データにおける対角的学習により, より優れた表現が生成されることを示し, この表現を微調整することで, 対象データのより正確な予測が可能であることを示す。
論文 参考訳(メタデータ) (2021-06-18T15:41:07Z) - Mean Embeddings with Test-Time Data Augmentation for Ensembling of
Representations [8.336315962271396]
表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。
MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。
我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
論文 参考訳(メタデータ) (2021-06-15T10:49:46Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳(メタデータ) (2021-04-07T17:59:06Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Improving the Performance of Fine-Grain Image Classifiers via Generative
Data Augmentation [0.5161531917413706]
我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。
DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。
本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
論文 参考訳(メタデータ) (2020-08-12T15:29:11Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。