論文の概要: ModuleNet: Knowledge-inherited Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2004.05020v2
• Date: Tue, 14 Apr 2020 03:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 21:11:15.830437
• Title: ModuleNet: Knowledge-inherited Neural Architecture Search
• Title（参考訳）: ModuleNet: 知識を継承したニューラルアーキテクチャ検索
• Authors: Yaran Chen, Ruiyuan Gao, Fenggang Liu and Dongbin Zhao
• Abstract要約: モデルにおけるどのような知識が、新しいアーキテクチャ設計に使えるのか、そして使うべきなのかについて議論する。 我々は,既存の畳み込みニューラルネットワークから知識を完全に継承できる新しいNASアルゴリズム,すなわちModuleNetを提案する。 我々の戦略は、畳み込み層の重みを調整しなくても、新しいアーキテクチャの性能を効率的に評価できる。
• 参考スコア（独自算出の注目度）: 7.769061374951596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Neural Architecture Search (NAS) can bring improvement to deep models, they always neglect precious knowledge of existing models. The computation and time costing property in NAS also means that we should not start from scratch to search, but make every attempt to reuse the existing knowledge. In this paper, we discuss what kind of knowledge in a model can and should be used for new architecture design. Then, we propose a new NAS algorithm, namely ModuleNet, which can fully inherit knowledge from existing convolutional neural networks. To make full use of existing models, we decompose existing models into different \textit{module}s which also keep their weights, consisting of a knowledge base. Then we sample and search for new architecture according to the knowledge base. Unlike previous search algorithms, and benefiting from inherited knowledge, our method is able to directly search for architectures in the macro space by NSGA-II algorithm without tuning parameters in these \textit{module}s. Experiments show that our strategy can efficiently evaluate the performance of new architecture even without tuning weights in convolutional layers. With the help of knowledge we inherited, our search results can always achieve better performance on various datasets (CIFAR10, CIFAR100) over original architectures.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(nas)は深層モデルに改善をもたらすが、既存のモデルの貴重な知識を常に無視する。 NASの計算と時間コスト特性は、スクラッチから検索まで始めるのではなく、既存の知識を再利用しようとするあらゆる試みを行うことを意味します。 本稿では,モデルにおけるどのような知識が,新しいアーキテクチャ設計に利用できるのか,また,どのような知識を利用すべきかを論じる。 そこで我々は,既存の畳み込みニューラルネットワークから知識を完全に継承できる新しいNASアルゴリズム,すなわちModuleNetを提案する。 既存のモデルをフル活用するために、既存のモデルを異なる \textit{module} に分解し、知識ベースからなる重みを保ちます。 次に、知識ベースに応じた新しいアーキテクチャのサンプルと検索を行う。 従来の検索アルゴリズムとは異なり,nsga-iiアルゴリズムでは,これら \textit{module} のパラメータをチューニングすることなく,マクロ空間内のアーキテクチャを直接検索することができる。 実験により,畳み込み層に重みをチューニングしなくても,新しいアーキテクチャの性能を効率的に評価できることを示した。 私たちが継承した知識の助けを借りて、我々の検索結果は常に元のアーキテクチャよりも様々なデータセット(CIFAR10, CIFAR100)でより良いパフォーマンスを達成できます。

関連論文リスト

• Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
  グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-26T11:32:45Z)
• Building Optimal Neural Architectures using Interpretable Knowledge [15.66288233048004]
  AutoBuildは、オペレーションとアーキテクチャモジュールの潜伏した埋め込みと、それらが現れるアーキテクチャの地味なパフォーマンスを整合させるスキームである。 比較的少数の評価済みアーキテクチャをマイニングすることで、AutoBuildは高品質なアーキテクチャを直接構築するか、あるいは検索スペースを減らして関連分野に集中できることを示す。
  論文  参考訳（メタデータ） (2024-03-20T04:18:38Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Automating Neural Architecture Design without Search [3.651848964235307]
  アルゴリズム実行中に生成された各ニューラルネットワークを逐次評価する必要のない新しい視点から、自動アーキテクチャ設計について検討する。 リンク予測にグラフニューラルネットワークを用いて提案手法を実装し,NAS-Bench-101から知識を得た。 さらに、NAS-Bench-101から学んだ知識を利用して、DARTS検索空間におけるアーキテクチャ設計を自動化し、CIFAR10では97.82%、ImageNetでは76.51%の精度で2時間10-4ドルのGPU日しか消費しなかった。
  論文  参考訳（メタデータ） (2022-04-21T14:41:05Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
  ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
  論文  参考訳（メタデータ） (2020-05-06T05:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。