論文の概要: A Close Look at Deep Learning with Small Data

• arxiv url: http://arxiv.org/abs/2003.12843v3
• Date: Sun, 25 Oct 2020 12:10:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 23:28:05.140700
• Title: A Close Look at Deep Learning with Small Data
• Title（参考訳）: 小データによる深層学習の概観
• Authors: L. Brigato and L. Iocchi
• Abstract要約: モデル複雑性は、クラス毎に数個のサンプルしか利用できない場合に重要な要素であることを示す。 また、標準的なデータ拡張であっても、認識性能を大きなマージンで向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we perform a wide variety of experiments with different deep learning architectures on datasets of limited size. According to our study, we show that model complexity is a critical factor when only a few samples per class are available. Differently from the literature, we show that in some configurations, the state of the art can be improved using low complexity models. For instance, in problems with scarce training samples and without data augmentation, low-complexity convolutional neural networks perform comparably well or better than state-of-the-art architectures. Moreover, we show that even standard data augmentation can boost recognition performance by large margins. This result suggests the development of more complex data generation/augmentation pipelines for cases when data is limited. Finally, we show that dropout, a widely used regularization technique, maintains its role as a good regularizer even when data is scarce. Our findings are empirically validated on the sub-sampled versions of popular CIFAR-10, Fashion-MNIST and, SVHN benchmarks.
• Abstract（参考訳）: 本研究では,限られたサイズのデータセット上で,異なるディープラーニングアーキテクチャを用いた多種多様な実験を行う。 そこで本研究では,クラス毎に数個のサンプルしか利用できない場合,モデル複雑性が重要な要因であることを示す。 文献とは違って,いくつかの構成では,低複雑性モデルを用いて技術の状態を改善することができる。 例えば、不足したトレーニングサンプルやデータ拡張のない問題では、低複雑さの畳み込みニューラルネットワークは最先端のアーキテクチャよりも相容れない、あるいは優れている。 さらに,標準データ拡張であっても認識性能が大幅に向上することを示す。 この結果は、データが制限された場合に、より複雑なデータ生成/提供パイプラインの開発を示唆する。 最後に、広く使われている正規化手法であるdropoutが、データが不足しても優れた正規化者としての役割を担っていることを示す。 この結果はCIFAR-10, Fashion-MNIST, SVHNベンチマークのサブサンプル版で実証的に検証された。

関連論文リスト

• Self-Supervised Learning for Time Series: A Review & Critique of FITS [0.0]
  最近提案されたモデルFITSは、パラメータ数を大幅に削減した競合性能を主張する。 複雑な周波数領域で1層ニューラルネットワークをトレーニングすることで、これらの結果を再現することができる。 実験の結果,FITSは特に周期パターンや季節パターンの捕集に優れるが,トレンド,非周期的,ランダムな組立行動に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T23:03:09Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Tensor feature hallucination for few-shot learning [17.381648488344222]
  限られた監督と限られたデータによって、サンプルを分類するという課題に対処するショットは少ない。 数ショット分類のための合成データ生成に関するこれまでの研究は、複雑なモデルを活用することに重点を置いていた。 本稿では,単純かつ簡単な合成データ生成手法を効果的に利用する方法を検討する。
  論文  参考訳（メタデータ） (2021-06-09T18:25:08Z)
• On the Pitfalls of Learning with Limited Data: A Facial Expression Recognition Case Study [0.5249805590164901]
  私達はビデオからの顔表現の認識の問題に焦点を合わせます。 4つのデータベースを異なる複雑さで,9つのディープラーニングアーキテクチャで動画分類を行った。 複雑なトレーニングセットは、トランスファーラーニングと合成生成データでトレーニングすると、より安定したテストセットによく変換されます。
  論文  参考訳（メタデータ） (2021-04-02T18:53:41Z)
• Multimodal Prototypical Networks for Few-shot Learning [20.100480009813953]
  クロスモーダルな機能生成フレームワークは、数ショットのシナリオにおいて、人口密度の低い埋め込みスペースを強化するために使用される。 このような場合、近隣の分類は実現可能なアプローチであり、最先端のシングルモーダルおよびマルチモーダルの複数ショット学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-17T19:32:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。