論文の概要: Two-Stage Architectural Fine-Tuning with Neural Architecture Search using Early-Stopping in Image Classification

• arxiv url: http://arxiv.org/abs/2202.08604v2
• Date: Fri, 18 Feb 2022 03:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 12:44:48.543354
• Title: Two-Stage Architectural Fine-Tuning with Neural Architecture Search using Early-Stopping in Image Classification
• Title（参考訳）: 画像分類における早期停止を用いたニューラルアーキテクチャ探索による2段階アーキテクチャの微調整
• Authors: Youngkee Kim, Won Joon Yun, Youn Kyu Lee, Joongheon Kim
• Abstract要約: 本稿では,画像分類のための2段階のアーキテクチャ微調整手法を提案する。 提案手法の主な考え方の1つはベースアーキテクチャによる突然変異であり、与えられたアーキテクチャ情報を用いて探索コストを削減できる。 実験により,提案手法は既存の手法と比較して,計算コストと探索コストを最大28.2%,22.3%削減することを確認した。
• 参考スコア（独自算出の注目度）: 11.980489083863592
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks (NN) perform well in various tasks (e.g., computer vision) because of the convolutional neural networks (CNN). However, the difficulty of gathering quality data in the industry field hinders the practical use of NN. To cope with this issue, the concept of transfer learning (TL) has emerged, which leverages the fine-tuning of NNs trained on large-scale datasets in data-scarce situations. Therefore, this paper suggests a two-stage architectural fine-tuning method for image classification, inspired by the concept of neural architecture search (NAS). One of the main ideas of our proposed method is a mutation with base architectures, which reduces the search cost by using given architectural information. Moreover, an early-stopping is also considered which directly reduces NAS costs. Experimental results verify that our proposed method reduces computational and searching costs by up to 28.2% and 22.3%, compared to existing methods.
• Abstract（参考訳）: ディープニューラルネットワーク(NN)は、畳み込みニューラルネットワーク(CNN)によって様々なタスク(コンピュータビジョンなど)でよく機能する。 しかし,業界における品質データ収集の難しさは,NNの利用を妨げている。 この問題に対処するために、大規模なデータセットでトレーニングされたnnの微調整を活用する転送学習(tl)の概念が登場した。 そこで本稿では,ニューラルアーキテクチャサーチ(NAS)の概念に触発された,画像分類のための2段階のアーキテクチャ微調整手法を提案する。 提案手法の主なアイデアの1つはベースアーキテクチャの変異であり、与えられたアーキテクチャ情報を使用することで検索コストを削減できる。 さらに、NASコストを直接削減するアーリーストッピングも検討されている。 実験により,提案手法は計算コストを最大28.2%,検索コストを22.3%削減できることを確認した。

関連論文リスト

• NAS-ASDet: An Adaptive Design Method for Surface Defect Detection Network using Neural Architecture Search [5.640706784987607]
  表面欠陥検出のためのネットワークを適応的に設計するためのNAS-ASDetと呼ばれる新しい手法を提案する。 まず、特徴分布を適応的に調整できる、洗練された業界に適した検索空間を設計する。 そして、より高速に探索空間を探索するために、深い監視機構を備えたプログレッシブ検索戦略を用いる。
  論文  参考訳（メタデータ） (2023-11-18T03:15:45Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
  我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。 提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
  論文  参考訳（メタデータ） (2021-10-08T06:35:20Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Homogeneous Architecture Augmentation for Neural Predictor [13.35821898997164]
  ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。 NASのボトルネックの1つは、高価な性能評価のため、計算コストである。 その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
  論文  参考訳（メタデータ） (2021-07-28T03:46:33Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。