論文の概要: Fast Neural Network Adaptation via Parameter Remapping and Architecture
Search
- arxiv url: http://arxiv.org/abs/2001.02525v2
- Date: Thu, 9 Apr 2020 08:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 12:41:26.564102
- Title: Fast Neural Network Adaptation via Parameter Remapping and Architecture
Search
- Title（参考訳）: パラメータ再マッピングとアーキテクチャ探索による高速ニューラルネットワーク適応
- Authors: Jiemin Fang, Yuzhu Sun, Kangjian Peng, Qian Zhang, Yuan Li, Wenyu Liu,
Xinggang Wang
- Abstract要約: ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。
ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。
しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。
本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
- 参考スコア（独自算出の注目度）: 35.61441231491448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks achieve remarkable performance in many computer vision
tasks. Most state-of-the-art (SOTA) semantic segmentation and object detection
approaches reuse neural network architectures designed for image classification
as the backbone, commonly pre-trained on ImageNet. However, performance gains
can be achieved by designing network architectures specifically for detection
and segmentation, as shown by recent neural architecture search (NAS) research
for detection and segmentation. One major challenge though, is that ImageNet
pre-training of the search space representation (a.k.a. super network) or the
searched networks incurs huge computational cost. In this paper, we propose a
Fast Neural Network Adaptation (FNA) method, which can adapt both the
architecture and parameters of a seed network (e.g. a high performing manually
designed backbone) to become a network with different depth, width, or kernels
via a Parameter Remapping technique, making it possible to utilize NAS for
detection/segmentation tasks a lot more efficiently. In our experiments, we
conduct FNA on MobileNetV2 to obtain new networks for both segmentation and
detection that clearly out-perform existing networks designed both manually and
by NAS. The total computation cost of FNA is significantly less than SOTA
segmentation/detection NAS approaches: 1737$\times$ less than DPC, 6.8$\times$
less than Auto-DeepLab and 7.4$\times$ less than DetNAS. The code is available
at https://github.com/JaminFong/FNA.
- Abstract（参考訳）: ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。
ほとんどの最先端(sota)セマンティックセグメンテーションとオブジェクト検出アプローチは、イメージ分類用に設計されたニューラルネットワークアーキテクチャをバックボーンとして再利用する。
しかし、近年のneural architecture search (nas) research for detection and segmentationで示されているように、検出とセグメンテーションに特化したネットワークアーキテクチャを設計することで、パフォーマンスの向上を実現することができる。
しかし、大きな課題の1つは、イメージネットが検索空間表現(スーパーネットワーク)や検索ネットワークの事前トレーニングを行っていることである。
本稿では,FNA(Fast Neural Network Adaptation)手法を提案する。この手法は,シードネットワークのアーキテクチャとパラメータ(例えば,高性能で手動で設計したバックボーン)をパラメータリマッピング技術によって異なる深さ,幅,あるいはカーネルのネットワークに適応させることで,NASをより効率的に検出/分離タスクに利用できるようにする。
我々はMobileNetV2上でFNAを行い、手動とNASの両方で設計された既存のネットワークよりも明らかに優れたセグメンテーションと検出のための新しいネットワークを得る。
FNAの総計算コストは、SOTAセグメンテーション/検出NASアプローチよりも大幅に小さく、DPCより1737$\times$、Auto-DeepLabより6.8$\times$、DetNASより7.4$\times$である。
コードはhttps://github.com/jaminfong/fnaで入手できる。
関連論文リスト
- GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
ENCAS - Evolutionary Neural Cascade Searchを紹介する。
ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。
我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
論文 参考訳（メタデータ） (2022-03-08T11:06:01Z) - Mixed-Block Neural Architecture Search for Medical Image Segmentation [0.0]
医用画像セグメンテーションネットワークのための新しいNAS検索空間を提案する。
U-Netでよく知られる一般化エンコーダデコーダ構造の強みと、画像分類タスクにおいて強力な性能を示すネットワークブロックを組み合わせる。
提案手法により発見されたネットワークは,手作りセグメンテーションネットワークよりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-02-23T10:32:35Z) - HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D
Medical Image Segmentation using HyperNet [51.60655410423093]
医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。
従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。
本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
論文 参考訳（メタデータ） (2021-12-20T16:21:09Z) - NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。
慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2021-10-24T12:20:04Z) - Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。
ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
論文 参考訳（メタデータ） (2021-03-24T15:20:38Z) - NAS-TC: Neural Architecture Search on Temporal Convolutions for Complex
Action Recognition [45.168746142597946]
ニューラルアーキテクチャサーチ-時間畳み込み(NAS-TC)と呼ばれる新しい処理フレームワークを提案する。
第1段階では、古典的なCNNネットワークがバックボーンネットワークとして使われ、計算集約的な特徴抽出タスクが完了する。
第2段階では、セルへの簡単な縫合探索を用いて、比較的軽量な長時間時間依存情報抽出を完了させる。
論文 参考訳（メタデータ） (2021-03-17T02:02:11Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - FNA++: Fast Network Adaptation via Parameter Remapping and Architecture
Search [35.61441231491448]
本稿では,シードネットワークのアーキテクチャとパラメータの両方を適応できるFNA++法を提案する。
実験では、FNA++をMobileNetV2に適用し、セマンティックセグメンテーション、オブジェクト検出、人間のポーズ推定のための新しいネットワークを得る。
FNA++の総計算コストは、SOTAセグメンテーションやNASアプローチよりも大幅に少ない。
論文 参考訳（メタデータ） (2020-06-21T10:03:34Z) - DRU-net: An Efficient Deep Convolutional Neural Network for Medical
Image Segmentation [2.3574651879602215]
残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。
両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-04-28T12:16:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。