論文の概要: Neural Inheritance Relation Guided One-Shot Layer Assignment Search

• arxiv url: http://arxiv.org/abs/2002.12580v1
• Date: Fri, 28 Feb 2020 07:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 02:32:49.440585
• Title: Neural Inheritance Relation Guided One-Shot Layer Assignment Search
• Title（参考訳）: 神経遺伝関係誘導型ワンショット層割当て探索
• Authors: Rang Meng, Weijie Chen, Di Xie, Yuan Zhang, Shiliang Pu
• Abstract要約: CIFAR-100上でのレイヤ割り当てのアーキテクチャデータセットを構築することにより,異なるレイヤ割り当てがネットワーク性能に与える影響について検討する。 層割り当てが異なるネットワーク間の神経継承関係、すなわち、深いネットワークに最適な層割り当ては、浅いネットワークには常に継承される。 このニューラル継承関係に着想を得て,遺伝サンプリングによる効率的なワンショット層割当て探索手法を提案する。
• 参考スコア（独自算出の注目度）: 44.82474044430184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer assignment is seldom picked out as an independent research topic in neural architecture search. In this paper, for the first time, we systematically investigate the impact of different layer assignments to the network performance by building an architecture dataset of layer assignment on CIFAR-100. Through analyzing this dataset, we discover a neural inheritance relation among the networks with different layer assignments, that is, the optimal layer assignments for deeper networks always inherit from those for shallow networks. Inspired by this neural inheritance relation, we propose an efficient one-shot layer assignment search approach via inherited sampling. Specifically, the optimal layer assignment searched in the shallow network can be provided as a strong sampling priori to train and search the deeper ones in supernet, which extremely reduces the network search space. Comprehensive experiments carried out on CIFAR-100 illustrate the efficiency of our proposed method. Our search results are strongly consistent with the optimal ones directly selected from the architecture dataset. To further confirm the generalization of our proposed method, we also conduct experiments on Tiny-ImageNet and ImageNet. Our searched results are remarkably superior to the handcrafted ones under the unchanged computational budgets. The neural inheritance relation discovered in this paper can provide insights to the universal neural architecture search.
• Abstract（参考訳）: 階層割り当ては、ニューラルネットワーク検索において独立した研究トピックとして選択されることがほとんどありません。 本稿では,CIFAR-100上にレイヤ割り当てのアーキテクチャデータセットを構築することにより,異なるレイヤ割り当てがネットワーク性能に与える影響を,初めて系統的に検討する。 このデータセットを解析することにより、異なる層割り当てを持つネットワーク間のニューラルネットワークの継承関係、すなわち、深層ネットワークの最適な層割り当ては、常に浅いネットワークのそれから継承される。 このニューラル継承関係に着想を得て,遺伝サンプリングによる効率的なワンショット層割当て探索手法を提案する。 具体的には、浅層ネットワークで探索された最適層割り当てを、スーパーネットの深層ネットワークの訓練と探索に先立つ強力なサンプリングとして提供し、ネットワークの探索空間を著しく削減することができる。 CIFAR-100の総合的な実験により,提案手法の有効性が示された。 検索結果は,アーキテクチャデータセットから直接選択した最適なものと強く一致している。 さらに,提案手法の一般化を確認するため,Tiny-ImageNetとImageNetの実験を行った。 検索結果は計算予算の変動により手作りのものよりもはるかに優れている。 この論文で発見された神経遺伝関係は、ユニバーサルニューラルアーキテクチャ探索への洞察を与えることができる。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。