論文の概要: The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes

• arxiv url: http://arxiv.org/abs/2003.04117v2
• Date: Thu, 28 Dec 2023 15:53:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-31 16:47:13.795463
• Title: The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes
• Title（参考訳）: 特徴再利用の実用性:データ入力レジームにおける伝達学習
• Authors: Rashik Shadman, M.G. Sarwar Murshed, Edward Verenich, Alvaro Velasquez, Faraz Hussain
• Abstract要約: データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。 畳み込み特徴抽出と微調整の有効性を評価する。 我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
• 参考スコア（独自算出の注目度）: 6.419457653976053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of transfer learning with deep neural networks has increasingly become widespread for deploying well-tested computer vision systems to newer domains, especially those with limited datasets. We describe a transfer learning use case for a domain with a data-starved regime, having fewer than 100 labeled target samples. We evaluate the effectiveness of convolutional feature extraction and fine-tuning of overparameterized models with respect to the size of target training data, as well as their generalization performance on data with covariate shift, or out-of-distribution (OOD) data. Our experiments demonstrate that both overparameterization and feature reuse contribute to the successful application of transfer learning in training image classifiers in data-starved regimes. We provide visual explanations to support our findings and conclude that transfer learning enhances the performance of CNN architectures in data-starved regimes.
• Abstract（参考訳）: ディープニューラルネットワークによるトランスファーラーニングの利用は、よくテストされたコンピュータビジョンシステムを新しいドメイン、特に限られたデータセットにデプロイする上で、ますます普及している。 本稿では,100以上のラベル付きターゲットサンプルを持つデータ格納型ドメインのトランスファー学習ユースケースについて述べる。 本研究では,対象訓練データのサイズに対する過パラメータモデルの畳み込み特徴抽出と微調整の有効性と,共変量シフトデータ,あるいはout-of-distribution(ood)データに対する一般化性能を評価する。 本実験は, 過パラメータ化と特徴再利用が, データスターベドシステムにおける画像分類器の訓練における伝達学習の成功に寄与することを示した。 我々は,この結果を支える視覚的説明を提供し,データスターベッドシステムにおけるCNNアーキテクチャの性能向上を結論づける。

関連論文リスト

• An information-Theoretic Approach to Semi-supervised Transfer Learning [33.89602092349131]
  トランスファーラーニングは、ある"ソースデータセット"から別の"ターゲットデータセット"に情報を伝達することを可能にする ソースとターゲットデータの分布の相違は一般的です。 本稿では,伝達学習の文脈におけるディープニューラルネットワークの性能解析のための新しい情報理論アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-11T17:45:46Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Transfer learning to improve streamflow forecasts in data sparse regions [0.0]
  本研究では,データスパース領域におけるストリームフロー予測の一般化性能向上のために,微調整およびパラメータ転送による伝達学習(TL)の方法論について検討する。 本稿では,Long Short-Term Memory(LSTM)という形式で,十分に大きなソースドメインデータセットに適合する標準のリカレントニューラルネットワークを提案する。 本稿では,モデルの空間的および時間的成分を分離し,モデルを一般化する訓練を行うことにより,水文学応用のための伝達学習手法を実装する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-06T14:52:53Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
  転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。 本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
  論文  参考訳（メタデータ） (2021-11-01T15:44:49Z)
• Transfer of Pretrained Model Weights Substantially Improves Semi-Supervised Image Classification [3.492636597449942]
  ディープニューラルネットワークは、多数のラベル付きサンプルでトレーニングされた場合、最先端の結果を生成する。 ディープニューラルネットワークは、少数のラベル付きサンプルがトレーニングに使用される場合、過度に適合する傾向がある。 ラベル付きサンプルがほとんどない場合、転送学習がモデルの精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-02T08:58:34Z)
• Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
  トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。 我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。 本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-06-09T22:15:41Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。