論文の概要: Learning Versatile Neural Architectures by Propagating Network Codes

• arxiv url: http://arxiv.org/abs/2103.13253v1
• Date: Wed, 24 Mar 2021 15:20:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 13:55:46.860689
• Title: Learning Versatile Neural Architectures by Propagating Network Codes
• Title（参考訳）: ネットワークコード伝達による多用途ニューラルネットワークの学習
• Authors: Mingyu Ding, Yuqi Huo, Haoyu Lu, Linjie Yang, Zhe Wang, Zhiwu Lu, Jingdong Wang, Ping Luo
• Abstract要約: アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。 ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
• 参考スコア（独自算出の注目度）: 74.2450894473073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores how to design a single neural network that is capable of adapting to multiple heterogeneous tasks of computer vision, such as image segmentation, 3D detection, and video recognition. This goal is challenging because network architecture designs in different tasks are inconsistent. We solve this challenge by proposing Network Coding Propagation (NCP), a novel "neural predictor", which is able to predict an architecture's performance in multiple datasets and tasks. Unlike prior arts of neural architecture search (NAS) that typically focus on a single task, NCP has several unique benefits. (1) NCP can be trained on different NAS benchmarks, such as NAS-Bench-201 and NAS-Bench-MR, which contains a novel network space designed by us for jointly searching an architecture among multiple tasks, including ImageNet, Cityscapes, KITTI, and HMDB51. (2) NCP learns from network codes but not original data, enabling it to update the architecture efficiently across datasets. (3) Extensive experiments evaluate NCP on object classification, detection, segmentation, and video recognition. For example, with 17\% fewer FLOPs, a single architecture returned by NCP achieves 86\% and 77.16\% on ImageNet-50-1000 and Cityscapes respectively, outperforming its counterparts. More interestingly, NCP enables a single architecture applicable to both image segmentation and video recognition, which achieves competitive performance on both HMDB51 and ADE20K compared to the singular counterparts. Code is available at https://github.com/dingmyu/NCP}{https://github.com/dingmyu/NCP.
• Abstract（参考訳）: 本研究は,画像分割,3次元検出,映像認識など,コンピュータビジョンの複数の異種タスクに適応可能な単一ニューラルネットワークの設計方法について検討する。 異なるタスクにおけるネットワークアーキテクチャ設計が矛盾するため、この目標は難しい。 我々は、アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」であるNetwork Coding Propagation (NCP)を提案することで、この課題を解決する。 通常1つのタスクにフォーカスする従来のニューラルネットワークサーチ(NAS)とは異なり、NCPにはいくつかのユニークな利点がある。 1) ncpはnas-bench-201やnas-bench-mrといった様々なnasベンチマークでトレーニングすることができる。 2) ncpは、ネットワークコードから学習するが、オリジナルデータではないため、データセットをまたいで効率的にアーキテクチャを更新することができる。 3) 対象分類, 検出, セグメンテーション, ビデオ認識におけるNCPの評価を行った。 例えば、17\%のFLOPでは、NCPが返却した単一のアーキテクチャは、ImageNet-50-1000とCityscapesでそれぞれ86\%と77.16\%を達成した。 さらに興味深いことに、NCPは画像のセグメンテーションとビデオ認識の両方に適用可能な単一のアーキテクチャを実現し、単一のアーキテクチャと比較してHMDB51とADE20Kの競合性能を実現している。 コードはhttps://github.com/dingmyu/NCP}{https://github.com/dingmyu/NCPで入手できる。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Mixed-Block Neural Architecture Search for Medical Image Segmentation [0.0]
  医用画像セグメンテーションネットワークのための新しいNAS検索空間を提案する。 U-Netでよく知られる一般化エンコーダデコーダ構造の強みと、画像分類タスクにおいて強力な性能を示すネットワークブロックを組み合わせる。 提案手法により発見されたネットワークは,手作りセグメンテーションネットワークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-02-23T10:32:35Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  本稿では,シードネットワークのアーキテクチャとパラメータの両方を適応できるFNA++法を提案する。 実験では、FNA++をMobileNetV2に適用し、セマンティックセグメンテーション、オブジェクト検出、人間のポーズ推定のための新しいネットワークを得る。 FNA++の総計算コストは、SOTAセグメンテーションやNASアプローチよりも大幅に少ない。
  論文  参考訳（メタデータ） (2020-06-21T10:03:34Z)
• Neural Architecture Transfer [20.86857986471351]
  既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。 この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。 NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
  論文  参考訳（メタデータ） (2020-05-12T15:30:36Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。