論文の概要: Instance-Conditioned GAN Data Augmentation for Representation Learning
- arxiv url: http://arxiv.org/abs/2303.09677v1
- Date: Thu, 16 Mar 2023 22:45:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 16:07:47.201309
- Title: Instance-Conditioned GAN Data Augmentation for Representation Learning
- Title（参考訳）: インスタンス記述型GANデータ拡張による表現学習
- Authors: Pietro Astolfi, Arantxa Casanova, Jakob Verbeek, Pascal Vincent,
Adriana Romero-Soriano, Michal Drozdzal
- Abstract要約: DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。
DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。
また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
- 参考スコア（独自算出の注目度）: 29.36473147430433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation has become a crucial component to train state-of-the-art
visual representation models. However, handcrafting combinations of
transformations that lead to improved performances is a laborious task, which
can result in visually unrealistic samples. To overcome these limitations,
recent works have explored the use of generative models as learnable data
augmentation tools, showing promising results in narrow application domains,
e.g., few-shot learning and low-data medical imaging. In this paper, we
introduce a data augmentation module, called DA_IC-GAN, which leverages
instance-conditioned GAN generations and can be used off-the-shelf in
conjunction with most state-of-the-art training recipes. We showcase the
benefits of DA_IC-GAN by plugging it out-of-the-box into the supervised
training of ResNets and DeiT models on the ImageNet dataset, and achieving
accuracy boosts up to between 1%p and 2%p with the highest capacity models.
Moreover, the learnt representations are shown to be more robust than the
baselines when transferred to a handful of out-of-distribution datasets, and
exhibit increased invariance to variations of instance and viewpoints. We
additionally couple DA_IC-GAN with a self-supervised training recipe and show
that we can also achieve an improvement of 1%p in accuracy in some settings.
With this work, we strengthen the evidence on the potential of learnable data
augmentations to improve visual representation learning, paving the road
towards non-handcrafted augmentations in model training.
- Abstract（参考訳）: データ拡張は最先端のビジュアル表現モデルをトレーニングするための重要なコンポーネントになっている。
しかし、パフォーマンス改善につながる変換のハンドクラフトの組み合わせは、難しい作業であり、視覚的に非現実的なサンプルをもたらす可能性がある。
これらの限界を克服するために、最近の研究は学習可能なデータ拡張ツールとして生成モデルの使用を探求し、限られたアプリケーションドメイン(例えば、少数ショット学習や低データ医療画像など)で有望な結果を示している。
本稿では,インスタンス条件付きgan生成を利用したデータ拡張モジュールda_ic-ganについて紹介する。
本稿では,imagenetデータセット上のresnetsおよびdeitモデルの教師付きトレーニングに最初から接続することで,da_ic-ganの利点を示し,高容量モデルでは1%pから2%pまでの精度向上を実現する。
さらに、学習表現は、一握りの分散データセットに転送された場合、ベースラインよりも頑健であることが示され、インスタンスやビューのバリエーションに対するばらつきが増大する。
また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上を実現できることを示す。
この研究により、学習可能なデータ拡張の可能性に関する証拠を強化し、視覚表現学習を改善し、モデルトレーニングにおける非手作業による強化への道を開く。
関連論文リスト
- An Active Learning Framework for Inclusive Generation by Large Language Models [32.16984263644299]
大規模言語モデル(LLM)は、多様なサブ集団を表すテキストを生成する。
本稿では,知識蒸留により強化されたクラスタリングに基づくアクティブラーニングフレームワークを提案する。
2つの新しいデータセットをモデルトレーニングと組み合わせて構築し、ベースラインモデルよりも2%-10%の性能向上を示した。
論文 参考訳（メタデータ） (2024-10-17T15:09:35Z) - ADLDA: A Method to Reduce the Harm of Data Distribution Shift in Data Augmentation [11.887799310374174]
本研究では,データ分散シフトの負の影響を軽減することを目的とした新しいデータ拡張手法であるADLDAを紹介する。
実験により、ADLDAは複数のデータセットにわたるモデル性能を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-05-11T03:20:35Z) - DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳（メタデータ） (2024-03-20T04:58:03Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳（メタデータ） (2023-11-03T06:34:37Z) - Phased Data Augmentation for Training a Likelihood-Based Generative Model with Limited Data [0.0]
生成モデルは現実的なイメージの作成に優れていますが、トレーニングのための広範なデータセットに依存しているため、大きな課題があります。
現在のデータ効率の手法はGANアーキテクチャに重点を置いており、他の生成モデルの訓練にギャップを残している。
位相データ拡張(phased data augmentation)は、このギャップに対処する新しい手法であり、データ分散に固有の変更を加えることなく、限られたデータシナリオでのトレーニングを最適化する。
論文 参考訳（メタデータ） (2023-05-22T03:38:59Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳（メタデータ） (2021-04-07T17:59:06Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳（メタデータ） (2021-02-09T20:28:35Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳（メタデータ） (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。