Fugu-MT 論文翻訳(概要): AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning

論文の概要: AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning

arxiv url: http://arxiv.org/abs/2005.02165v2
Date: Thu, 3 Dec 2020 05:35:23 GMT
ステータス: 処理完了
システム内更新日: 2022-12-09 21:26:22.888853
Title: AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning
Title（参考訳）: autotune:転送学習を改善するための畳み込みニューラルネットワークの自動チューニング
Authors: S.H.Shabbeer Basha, Sravan Kumar Vinakota, Viswanath Pulabaigari, Snehasis Mukherjee, Shiv Ram Dubey
Abstract要約: 変換学習を改善するために,畳み込みニューラルネットワーク(CNN)を自動チューニングする機構を導入する。トレーニング済みのCNNレイヤは、ベイズ最適化を用いて、ターゲットデータからの知識に調整される。実験は、CalTech-101、CalTech-256、Stanford Dogsの3つのベンチマークデータセットで実施されている。
参考スコア（独自算出の注目度）: 13.909484906513102
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning enables solving a specific task having limited data by using the pre-trained deep networks trained on large-scale datasets. Typically, while transferring the learned knowledge from source task to the target task, the last few layers are fine-tuned (re-trained) over the target dataset. However, these layers are originally designed for the source task that might not be suitable for the target task. In this paper, we introduce a mechanism for automatically tuning the Convolutional Neural Networks (CNN) for improved transfer learning. The pre-trained CNN layers are tuned with the knowledge from target data using Bayesian Optimization. First, we train the final layer of the base CNN model by replacing the number of neurons in the softmax layer with the number of classes involved in the target task. Next, the pre-trained CNN is tuned automatically by observing the classification performance on the validation data (greedy criteria). To evaluate the performance of the proposed method, experiments are conducted on three benchmark datasets, e.g., CalTech-101, CalTech-256, and Stanford Dogs. The classification results obtained through the proposed AutoTune method outperforms the standard baseline transfer learning methods over the three datasets by achieving $95.92\%$, $86.54\%$, and $84.67\%$ accuracy over CalTech-101, CalTech-256, and Stanford Dogs, respectively. The experimental results obtained in this study depict that tuning of the pre-trained CNN layers with the knowledge from the target dataset confesses better transfer learning ability. The source codes are available at https://github.com/JekyllAndHyde8999/AutoTune_CNN_TransferLearning.
Abstract（参考訳）: 転送学習は、大規模なデータセットでトレーニングされたトレーニング済みのディープネットワークを使用することで、限られたデータを持つ特定のタスクを解決することができる。通常、学習した知識をソースタスクからターゲットタスクに転送する一方で、最後の数層はターゲットデータセット上で微調整(再トレーニング)される。しかし、これらのレイヤは元々、ターゲットタスクに適さないソースタスクのために設計されている。本稿では,伝達学習を改善するために,畳み込みニューラルネットワーク(CNN)を自動チューニングする機構を提案する。事前学習されたcnn層は、ベイズ最適化を用いてターゲットデータからの知識で調整される。まず,ソフトマックス層内のニューロン数を目標タスクに関連するクラス数に置き換えることで,ベースCNNモデルの最終層を訓練する。次に、検証データ(欲求基準)の分類性能を観察して、事前訓練されたCNNを自動的に調整する。提案手法の性能を評価するため,CalTech-101,CalTech-256,Stanford Dogsの3つのベンチマークデータセットを用いて実験を行った。提案したAutoTune法により得られた分類結果は,CalTech-101,CalTech-256,Stanford Dogsに対して,9.5.92\%,8.6.54\%,8.67\%の精度で,標準ベースライン転送学習法よりも優れている。本研究では,事前学習したCNN層を目標データセットからの知識でチューニングすることで,伝達学習能力の向上を図った。ソースコードはhttps://github.com/JekyllAndHyde8999/AutoTune_CNN_TransferLearningで公開されている。

関連論文リスト

Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文参考訳（メタデータ） (2023-02-02T15:49:03Z)
CoV-TI-Net: Transferred Initialization with Modified End Layer for COVID-19 Diagnosis [5.546855806629448]
転送学習は比較的新しい学習手法であり、少ない計算で優れた性能を達成するために多くの分野で採用されている。本研究では,MNISTデータセットにPyTorch事前学習モデル(VGG19_bnとWideResNet -101)を適用した。提案したモデルはKaggleのノートブックで開発、検証され、計算時間を要さずに99.77%の精度に達した。
論文参考訳（メタデータ） (2022-09-20T08:52:52Z)
Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。これは、クラス増分学習における第一級の結果である。
論文参考訳（メタデータ） (2022-08-09T10:49:40Z)
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文参考訳（メタデータ） (2022-07-13T16:58:22Z)
Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer [9.434523476406424]
本稿では,効率的な知識伝達を可能にするTASCNetという2段階のフレームワークを提案する。 TASCNetは、トレーニング可能なパラメータとFLOPの両方を削減することにより、目標タスク上の事前学習されたCNNの計算複雑性を低減する。コンピュータビジョンタスクと同様に、映画レビューセンチメント分析タスクでも実験を行った。
論文参考訳（メタデータ） (2022-05-12T09:11:00Z)
A Novel Sleep Stage Classification Using CNN Generated by an Efficient Neural Architecture Search with a New Data Processing Trick [4.365107026636095]
本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいデータ処理手法を用いて,効率的な5ステップの分類手法を提案する。我々は、遺伝的アルゴリズム(GA)NASGを最大限に活用して、最高のCNNアーキテクチャを探索する。我々は,データ処理トリックの収束性を検証するとともに,従来のCNNの性能をそのトリックの前後で比較する。
論文参考訳（メタデータ） (2021-10-27T10:36:52Z)
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文参考訳（メタデータ） (2021-02-09T08:19:49Z)
Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。 DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。近年,データ拡張手法の提案が盛んに行われている。本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文参考訳（メタデータ） (2020-08-22T12:28:35Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)
AutoFCL: Automatically Tuning Fully Connected Layers for Handling Small Dataset [13.909484906513102]
提案したAutoFCLモデルは,ベイズ最適化を用いてCNNのFC層の構造を自動学習する。新しく学習された(ターゲットに依存しない)FC層の微調整は、最先端のパフォーマンスをもたらす。提案したAutoFCL法は,CalTech-101とOxford-102 Flowersデータセット上で既存の手法より優れている。
論文参考訳（メタデータ） (2020-01-22T08:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。