論文の概要: The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes
- arxiv url: http://arxiv.org/abs/2003.04117v1
- Date: Sat, 29 Feb 2020 18:48:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 19:58:30.156220
- Title: The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes
- Title(参考訳): 特徴再利用の実用性:データ入力レジームにおける伝達学習
- Authors: Edward Verenich, Alvaro Velasquez, M.G. Sarwar Murshed, Faraz Hussain
- Abstract要約: 本稿では,100個未満のラベル付き対象サンプルを持つデータスターベド型ドメインの転送学習ユースケースについて述べる。
我々は,目標トレーニングデータのサイズに関して,畳み込み特徴抽出とパラメータ化モデルの微調整の有効性を評価する。
- 参考スコア(独自算出の注目度): 6.730473762151365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of transfer learning with deep neural networks has increasingly
become widespread for deploying well-tested computer vision systems to newer
domains, especially those with limited datasets. We describe a transfer
learning use case for a domain with a data-starved regime, having fewer than
100 labeled target samples. We evaluate the effectiveness of convolutional
feature extraction and fine-tuning of overparameterized models with respect to
the size of target training data, as well as their generalization performance
on data with covariate shift, or out-of-distribution (OOD) data. Our
experiments show that both overparameterization and feature reuse contribute to
successful application of transfer learning in training image classifiers in
data-starved regimes.
- Abstract(参考訳): ディープニューラルネットワークによるトランスファーラーニングの利用は、よくテストされたコンピュータビジョンシステムを新しいドメイン、特に限られたデータセットにデプロイする上で、ますます普及している。
本稿では,100以上のラベル付きターゲットサンプルを持つデータ格納型ドメインのトランスファー学習ユースケースについて述べる。
本研究では,対象訓練データのサイズに対する過パラメータモデルの畳み込み特徴抽出と微調整の有効性と,共変量シフトデータ,あるいはout-of-distribution(ood)データに対する一般化性能を評価する。
実験の結果, 過度パラメータ化と特徴再利用は, 画像分類器の訓練における伝達学習の有効活用に寄与することがわかった。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - An information-Theoretic Approach to Semi-supervised Transfer Learning [33.89602092349131]
トランスファーラーニングは、ある"ソースデータセット"から別の"ターゲットデータセット"に情報を伝達することを可能にする
ソースとターゲットデータの分布の相違は一般的です。
本稿では,伝達学習の文脈におけるディープニューラルネットワークの性能解析のための新しい情報理論アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-11T17:45:46Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳(メタデータ) (2022-07-08T10:25:47Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳(メタデータ) (2021-11-01T15:44:49Z) - Transfer of Pretrained Model Weights Substantially Improves
Semi-Supervised Image Classification [3.492636597449942]
ディープニューラルネットワークは、多数のラベル付きサンプルでトレーニングされた場合、最先端の結果を生成する。
ディープニューラルネットワークは、少数のラベル付きサンプルがトレーニングに使用される場合、過度に適合する傾向がある。
ラベル付きサンプルがほとんどない場合、転送学習がモデルの精度を大幅に向上することを示す。
論文 参考訳(メタデータ) (2021-09-02T08:58:34Z) - Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。
我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。
本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
論文 参考訳(メタデータ) (2021-06-09T22:15:41Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2020-07-11T22:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。