論文の概要: Revisiting Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2010.05719v2
• Date: Sun, 18 Oct 2020 08:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 07:33:54.156578
• Title: Revisiting Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索の再検討
• Authors: Anubhav Garg, Amit Kumar Saha, Debo Dutta
• Abstract要約: 我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。 提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) is a collection of methods to craft the way neural networks are built. Current NAS methods are far from ab initio and automatic, as they use manual backbone architectures or micro building blocks (cells), which have had minor breakthroughs in performance compared to random baselines. They also involve a significant manual expert effort in various components of the NAS pipeline. This raises a natural question - Are the current NAS methods still heavily dependent on manual effort in the search space design and wiring like it was done when building models before the advent of NAS? In this paper, instead of merely chasing slight improvements over state-of-the-art (SOTA) performance, we revisit the fundamental approach to NAS and propose a novel approach called ReNAS that can search for the complete neural network without much human effort and is a step closer towards AutoML-nirvana. Our method starts from a complete graph mapped to a neural network and searches for the connections and operations by balancing the exploration and exploitation of the search space. The results are on-par with the SOTA performance with methods that leverage handcrafted blocks. We believe that this approach may lead to newer NAS strategies for a variety of network types.
• Abstract（参考訳）: Neural Architecture Search(NAS)は、ニューラルネットワークの構築方法を構築するためのメソッドの集合である。 現行のNASメソッドは、手動のバックボーンアーキテクチャやマイクロビルディングブロック(セル)を使用するため、無作為なベースラインに比べてパフォーマンスが小さかったため、初期化や自動化には程遠い。 また、NASパイプラインの様々なコンポーネントにおいて、重要な手作業も行います。 現在のNASメソッドは、NASの出現前にモデルを構築する際に行われたような、検索スペースの設計と配線において、手作業に大きく依存していますか? 本稿では、単に最先端(SOTA)の性能をわずかに向上させるのではなく、NASの基本的アプローチを再検討し、人間の努力を伴わずに完全なニューラルネットワークを探索できるReNASと呼ばれる新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。 提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。 結果は,手作りブロックを利用したSOTA性能と同等である。 このアプローチは、さまざまなネットワークタイプに対する新しいnas戦略につながる可能性があると考えています。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• A Comprehensive Survey on Hardware-Aware Neural Architecture Search [6.23453131728063]
  ニューラルアーキテクチャ検索(NAS)メソッドは人気が高まっています。 NASはここ数年で広範囲に研究されている。 実世界の問題にNASを適用することは依然として大きな課題であり、広く実用的ではない。 人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。 ハードウェア認識NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの検索をより複雑にし、いくつかの質問を開く。
  論文  参考訳（メタデータ） (2021-01-22T21:13:46Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)
• Modeling Neural Architecture Search Methods for Deep Networks [9.561123408923489]
  本稿では,ニューラルアーキテクチャ探索法(NAS)の一般化モデルを提案する。 重要な関心領域を分類し識別するための異なる設計アプローチを比較することが可能である。
  論文  参考訳（メタデータ） (2019-12-31T05:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。