論文の概要: Large Neural Networks Learning from Scratch with Very Few Data and without Regularization

• arxiv url: http://arxiv.org/abs/2205.08836v1
• Date: Wed, 18 May 2022 10:08:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:16:04.330515
• Title: Large Neural Networks Learning from Scratch with Very Few Data and without Regularization
• Title（参考訳）: ごくわずかなデータと正規化のないスクラッチから学習する大規模ニューラルネットワーク
• Authors: Christoph Linse, Thomas Martinetz
• Abstract要約: 数百万の重みを持つ非常に大きな畳み込みニューラルネットワークが、ほんのわずかのトレーニングサンプルで学習できることを示します。 重量1億4000万のVGG19は、飛行機とバイクの区別を95%の精度で学べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent findings have shown that Neural Networks generalize also in over-parametrized regimes with zero training error. This is surprising, since it is completely against traditional machine learning wisdom. In our empirical study we fortify these findings in the domain of fine-grained image classification. We show that very large Convolutional Neural Networks with millions of weights do learn with only a handful of training samples and without image augmentation, explicit regularization or pretraining. We train the architectures ResNet018, ResNet101 and VGG19 on subsets of the difficult benchmark datasets Caltech101, CUB_200_2011, FGVCAircraft, Flowers102 and StanfordCars with 100 classes and more, perform a comprehensive comparative study and draw implications for the practical application of CNNs. Finally, we show that VGG19 with 140 million weights learns to distinguish airplanes and motorbikes up to 95% accuracy with only 20 samples per class.
• Abstract（参考訳）: 最近の研究によると、ニューラルネットワークはトレーニングエラーゼロの過度にパラメータ化された状態でも一般化されている。 従来の機械学習の知恵に完全に反するため、これは驚きだ。 実験では,細粒度画像分類の領域において,これらの知見を強化する。 数百万の重みを持つ非常に大きな畳み込みニューラルネットワークは、ほんの一握りのトレーニングサンプルで学習し、画像拡張や明示的な正規化、事前トレーニングなしで学習する。 resnet018, resnet101, vgg19 のアーキテクチャを100以上のクラスで,caltech101, cub_200_2011, fgvcaircraft, flowers102, stanfordcars の複雑なベンチマークデータセットのサブセット上でトレーニングし,包括的比較研究を行い, cnn の実用的適用に示唆を与える。 最後に、重量1億4000万のvgg19は、クラス20のサンプルしか持たず、95%の精度で飛行機とバイクを区別することを学ぶ。

関連論文リスト

• CUDA: Convolution-based Unlearnable Datasets [77.70422525613084]
  現代のディープラーニングモデルの大規模なトレーニングは、Web上の公開データに大きく依存している。 最近の研究は、小さくて特殊なノイズを加えることによって、ディープラーニングモデルのためのデータを作ることを目的としている。 これらの手法は、敵の訓練(AT)に対して脆弱であり、または/または計算的に重い。
  論文  参考訳（メタデータ） (2023-03-07T22:57:23Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• The Unreasonable Effectiveness of Fully-Connected Layers for Low-Data Regimes [3.7189423451031356]
  少数のデータから一般化する枠組みを提案する。 完全に接続されたレイヤで最新のCNNを強化し、このアーキテクチャ変更が低データ体制にもたらす大きな影響を示します。
  論文  参考訳（メタデータ） (2022-10-11T17:55:10Z)
• Capsule Network based Contrastive Learning of Unsupervised Visual Representations [13.592112044121683]
  Contrastive Capsule (CoCa) Modelは、新しいアーキテクチャ、トレーニング、テストアルゴリズムと対照的な損失を用いた、シームズスタイルのCapsule Networkである。 我々は、教師なし画像分類CIFAR-10データセットのモデルを評価し、トップ1テスト精度70.50%、トップ5テスト精度98.10%を達成する。 効率的なアーキテクチャのため、我々のモデルは、教師なし学習と教師なし学習の両方において、現在のSOTAの31倍のパラメータと71倍のFLOPを持つ。
  論文  参考訳（メタデータ） (2022-09-22T19:05:27Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• Training Vision Transformers with Only 2040 Images [35.86457465241119]
  視覚変換器(ViT)は、視覚認識のための畳み込みニューラルネットワーク(CNN)の代替として登場した。 本手法は他の手法よりも優れているという理論的解析を行い,特徴のアライメントとインスタンスの類似性の両方を捉えることができる。 様々なViTバックボーンの下で7つの小さなデータセットをスクラッチからトレーニングすると、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-01-26T03:22:08Z)
• On the Effectiveness of Neural Ensembles for Image Classification with Small Datasets [2.3478438171452014]
  本稿では,クラスごとのラベル付き例数件による画像分類問題に着目し,比較的小さなネットワークのアンサンブルを用いてデータ効率を向上させる。 比較的浅いネットワークをアンサンブルすることは、小さなデータセットから学ぶための現在の最先端のアプローチよりも一般的に優れている、単純だが効果的な手法であることを示す。
  論文  参考訳（メタデータ） (2021-11-29T12:34:49Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly [114.81028176850404]
  限られたデータでGAN(generative adversarial network)を訓練すると、一般的に性能が低下し、モデルが崩壊する。 データハングリーGANトレーニングを2つのシーケンシャルサブプロブレムに分解する。 このような協調フレームワークにより、より低い複雑さとよりデータ効率のよいサブ問題に集中することができます。
  論文  参考訳（メタデータ） (2021-02-28T05:20:29Z)
• Testing for Normality with Neural Networks [0.0]
  フィードフォワードニューラルネットワークを構築し,その小さなサンプルを検査することで,正常な分布を正確に検出する。 ネットワークの精度は250-1000要素のより大きなサンプルのセットで96%以上であった。
  論文  参考訳（メタデータ） (2020-09-29T07:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。