Fugu-MT 論文翻訳(概要): AutoFCL: Automatically Tuning Fully Connected Layers for Handling Small Dataset

論文の概要: AutoFCL: Automatically Tuning Fully Connected Layers for Handling Small Dataset

arxiv url: http://arxiv.org/abs/2001.11951v4
Date: Thu, 28 Jan 2021 17:05:06 GMT
ステータス: 処理完了
システム内更新日: 2023-01-07 18:31:25.641396
Title: AutoFCL: Automatically Tuning Fully Connected Layers for Handling Small Dataset
Title（参考訳）: AutoFCL: 小さなデータセットを扱うための完全な接続層を自動的に調整する
Authors: S.H.Shabbeer Basha, Sravan Kumar Vinakota, Shiv Ram Dubey, Viswanath Pulabaigari, Snehasis Mukherjee
Abstract要約: 提案したAutoFCLモデルは,ベイズ最適化を用いてCNNのFC層の構造を自動学習する。新しく学習された(ターゲットに依存しない)FC層の微調整は、最先端のパフォーマンスをもたらす。提案したAutoFCL法は,CalTech-101とOxford-102 Flowersデータセット上で既存の手法より優れている。
参考スコア（独自算出の注目度）: 13.909484906513102
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Convolutional Neural Networks (CNN) have evolved as popular machine learning models for image classification during the past few years, due to their ability to learn the problem-specific features directly from the input images. The success of deep learning models solicits architecture engineering rather than hand-engineering the features. However, designing state-of-the-art CNN for a given task remains a non-trivial and challenging task, especially when training data size is less. To address this phenomena, transfer learning has been used as a popularly adopted technique. While transferring the learned knowledge from one task to another, fine-tuning with the target-dependent Fully Connected (FC) layers generally produces better results over the target task. In this paper, the proposed AutoFCL model attempts to learn the structure of FC layers of a CNN automatically using Bayesian optimization. To evaluate the performance of the proposed AutoFCL, we utilize five pre-trained CNN models such as VGG-16, ResNet, DenseNet, MobileNet, and NASNetMobile. The experiments are conducted on three benchmark datasets, namely CalTech-101, Oxford-102 Flowers, and UC Merced Land Use datasets. Fine-tuning the newly learned (target-dependent) FC layers leads to state-of-the-art performance, according to the experiments carried out in this research. The proposed AutoFCL method outperforms the existing methods over CalTech-101 and Oxford-102 Flowers datasets by achieving the accuracy of 94.38% and 98.89%, respectively. However, our method achieves comparable performance on the UC Merced Land Use dataset with 96.83% accuracy. The source codes of this research are available at https://github.com/shabbeersh/AutoFCL.
Abstract（参考訳）: 深層畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)は、入力画像から直接問題固有の特徴を学習する能力により、過去数年間、画像分類のための一般的な機械学習モデルとして進化してきた。ディープラーニングモデルの成功は、機能を手動で設計するよりも、アーキテクチャエンジニアリングに寄与する。しかしながら、与えられたタスクに対して最先端のCNNを設計することは、特にトレーニングデータのサイズが小さくなると、簡単で困難なタスクである。この現象に対処するために、転写学習は広く採用されている技術である。あるタスクから別のタスクに学習知識を転送する一方で、ターゲットに依存した完全接続(fc)層による微調整は、一般的にターゲットタスクよりも優れた結果を生み出す。本稿では,ベイズ最適化を用いてCNNのFC層構造を自動学習するAutoFCLモデルを提案する。提案するAutoFCLの性能評価には,VGG-16,ResNet,DenseNet,MobileNet,NASNetMobileの5つの事前学習CNNモデルを利用する。実験は、CalTech-101、Oxford-102 Flowers、UC Merced Land Useデータセットの3つのベンチマークデータセットで実施された。本研究で実施した実験によれば、新たに学習した(ターゲットに依存しない)fc層の微調整は最先端のパフォーマンスをもたらす。提案手法はそれぞれ94.38%と98.89%の精度でcaltech-101とoxford-102の花データセットよりも優れている。しかし、本手法は、96.83%の精度でUC Merced Land Useデータセットで同等の性能を達成する。この研究のソースコードはhttps://github.com/shabbeersh/autofcl.comで入手できる。

関連論文リスト

Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文参考訳（メタデータ） (2023-08-21T07:24:29Z)
CoV-TI-Net: Transferred Initialization with Modified End Layer for COVID-19 Diagnosis [5.546855806629448]
転送学習は比較的新しい学習手法であり、少ない計算で優れた性能を達成するために多くの分野で採用されている。本研究では,MNISTデータセットにPyTorch事前学習モデル(VGG19_bnとWideResNet -101)を適用した。提案したモデルはKaggleのノートブックで開発、検証され、計算時間を要さずに99.77%の精度に達した。
論文参考訳（メタデータ） (2022-09-20T08:52:52Z)
FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification [47.24770508263431]
画像分類における要件を満たすFiLM Transfer (FiT) を開発した。 FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
論文参考訳（メタデータ） (2022-06-17T10:17:20Z)
Learning Rate Curriculum [75.98230528486401]
ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
論文参考訳（メタデータ） (2022-05-18T18:57:36Z)
Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer [9.434523476406424]
本稿では,効率的な知識伝達を可能にするTASCNetという2段階のフレームワークを提案する。 TASCNetは、トレーニング可能なパラメータとFLOPの両方を削減することにより、目標タスク上の事前学習されたCNNの計算複雑性を低減する。コンピュータビジョンタスクと同様に、映画レビューセンチメント分析タスクでも実験を行った。
論文参考訳（メタデータ） (2022-05-12T09:11:00Z)
Auto-Transfer: Learning to Route Transferrable Representations [77.30427535329571]
本稿では,適切なターゲット表現にソース表現をルートする方法を自動学習する,新しい対向型マルチアームバンディット手法を提案する。最先端の知識伝達手法と比較すると,5%以上の精度向上が期待できる。
論文参考訳（メタデータ） (2022-02-02T13:09:27Z)
An Acceleration Method Based on Deep Learning and Multilinear Feature Space [0.0]
本稿では,大規模CNNアーキテクチャからの学習を伝達するために,Multilinear Feature Space (MFS)法に基づく代替手法を提案する。提案手法はCNNを用いて特徴マップを生成するが,複雑性低減手法として機能しない。 AMFCと呼ばれる本手法では,事前学習したCNNからの移動学習を用いて,新しいサンプル画像の分類時間を最小限に抑える。
論文参考訳（メタデータ） (2021-10-16T23:49:12Z)
Towards Efficient and Data Agnostic Image Classification Training Pipeline for Embedded Systems [0.0]
本研究は,画像分類における最新の拡張および正規化手法の見直しに重点を置いている。各タスクにパラメータを手動で調整することなく、様々なダウンストリーム画像分類タスクにおいて合理的なパフォーマンスを実現することができる。結果モデルは計算効率が良く、OpenVINOツールキットを使ってCPUにデプロイできる。
論文参考訳（メタデータ） (2021-08-16T12:38:05Z)
2nd Place Scheme on Action Recognition Track of ECCV 2020 VIPriors Challenges: An Efficient Optical Flow Stream Guided Framework [57.847010327319964]
我々は、小さなデータセットでモデルをスクラッチからトレーニングできるデータ効率フレームワークを提案する。具体的には、3D中心差分畳み込み演算を導入することで、新しいC3Dニューラルネットワークベースの2ストリームフレームワークを提案する。提案手法は,大規模データセット上で事前学習したモデルがなくても,有望な結果が得られることを実証した。
論文参考訳（メタデータ） (2020-08-10T09:50:28Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)
AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning [13.909484906513102]
変換学習を改善するために,畳み込みニューラルネットワーク(CNN)を自動チューニングする機構を導入する。トレーニング済みのCNNレイヤは、ベイズ最適化を用いて、ターゲットデータからの知識に調整される。実験は、CalTech-101、CalTech-256、Stanford Dogsの3つのベンチマークデータセットで実施されている。
論文参考訳（メタデータ） (2020-04-25T10:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。