論文の概要: NASI: Label- and Data-agnostic Neural Architecture Search at Initialization

• arxiv url: http://arxiv.org/abs/2109.00817v1
• Date: Thu, 2 Sep 2021 09:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 14:07:09.865598
• Title: NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
• Title（参考訳）: nasi: 初期化時のラベルとデータ非依存のニューラルアーキテクチャ検索
• Authors: Yao Shu, Shaofeng Cai, Zhongxiang Dai, Beng Chin Ooi, Bryan Kian Hsiang Low
• Abstract要約: 我々はNAS at Initialization (NASI)と呼ばれる新しいNASアルゴリズムを提案する。 NASIはニューラル・タンジェント・カーネルの機能を利用して、候補アーキテクチャの収束性能を特徴づける。 NASIはまた、CIFAR-10/100やImageNetなど、さまざまなデータセットで競合する検索効率を実現している。
• 参考スコア（独自算出の注目度）: 35.18069719489172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed a surging interest in Neural Architecture Search (NAS). Various algorithms have been proposed to improve the search efficiency and effectiveness of NAS, i.e., to reduce the search cost and improve the generalization performance of the selected architectures, respectively. However, the search efficiency of these algorithms is severely limited by the need for model training during the search process. To overcome this limitation, we propose a novel NAS algorithm called NAS at Initialization (NASI) that exploits the capability of a Neural Tangent Kernel in being able to characterize the converged performance of candidate architectures at initialization, hence allowing model training to be completely avoided to boost the search efficiency. Besides the improved search efficiency, NASI also achieves competitive search effectiveness on various datasets like CIFAR-10/100 and ImageNet. Further, NASI is shown to be label- and data-agnostic under mild conditions, which guarantees the transferability of architectures selected by our NASI over different datasets.
• Abstract（参考訳）: 近年、Neural Architecture Search(NAS)への関心が高まっている。 NASの探索効率と有効性、すなわち探索コストを削減し、選択したアーキテクチャの一般化性能を改善するために、様々なアルゴリズムが提案されている。 しかし,これらのアルゴリズムの探索効率は,探索過程におけるモデルトレーニングの必要性により著しく制限されている。 この制限を克服するために,nasi(nas at initialization)と呼ばれる新しいnasアルゴリズムを提案する。これはニューラルネットワークの接点カーネルの機能を利用して,初期化時の候補アーキテクチャの収束性能を特徴付けることで,モデルトレーニングを完全に回避して探索効率を高めることができる。 検索効率の改善に加えて、NASIはCIFAR-10/100やImageNetといった様々なデータセットで競合する検索効率を実現している。 さらに、穏やかな条件下では、nasiはラベルやデータに依存せず、異なるデータセット上でnasiによって選択されたアーキテクチャの転送可能性を保証することが示されています。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Going Beyond Neural Architecture Search with Sampling-based Neural Ensemble Search [31.059040393415003]
  本稿では,Nurural Ensemble Search via Smpling (NESS) フレームワークに基づく2つの新しいサンプリングアルゴリズムを提案する。 我々のNESSアルゴリズムは、分類タスクと対角防御タスクの両方において改善された性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-09-06T15:18:37Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。