論文の概要: On Redundancy and Diversity in Cell-based Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2203.08887v1
• Date: Wed, 16 Mar 2022 18:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:09:43.560119
• Title: On Redundancy and Diversity in Cell-based Neural Architecture Search
• Title（参考訳）: セルベースニューラルアーキテクチャサーチにおける冗長性と多様性について
• Authors: Xingchen Wan, Binxin Ru, Pedro M. Esperan\c{c}a, Zhenguo Li
• Abstract要約: 一般的なセルベースの検索空間からアーキテクチャを実証分析する。 アーキテクチャのパフォーマンスは、細胞の大部分における変更に対して最小限に敏感であることに気付きました。 細胞にこれらのパターンを明示的に含ませることによって、ランダムにサンプリングされたアーキテクチャは、芸術の状態をマッチさせたり、上回りさせたりすることができる。
• 参考スコア（独自算出の注目度）: 44.337381243798085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Searching for the architecture cells is a dominant paradigm in NAS. However, little attention has been devoted to the analysis of the cell-based search spaces even though it is highly important for the continual development of NAS. In this work, we conduct an empirical post-hoc analysis of architectures from the popular cell-based search spaces and find that the existing search spaces contain a high degree of redundancy: the architecture performance is minimally sensitive to changes at large parts of the cells, and universally adopted designs, like the explicit search for a reduction cell, significantly increase the complexities but have very limited impact on the performance. Across architectures found by a diverse set of search strategies, we consistently find that the parts of the cells that do matter for architecture performance often follow similar and simple patterns. By explicitly constraining cells to include these patterns, randomly sampled architectures can match or even outperform the state of the art. These findings cast doubts into our ability to discover truly novel architectures in the existing cell-based search spaces, and inspire our suggestions for improvement to guide future NAS research. Code is available at https://github.com/xingchenwan/cell-based-NAS-analysis.
• Abstract（参考訳）: アーキテクチャセルの探索はNASの主要なパラダイムである。 しかし,NASの継続的な発展には極めて重要であるにもかかわらず,細胞ベースの検索空間の分析にはほとんど注目されていない。 本研究では,一般的なセルベース検索空間からのアーキテクチャの実証的ポストホック解析を行い,既存の検索空間には高い冗長性が含まれていることを発見した。アーキテクチャ性能は,セルの広い部分における変化に対して最小限に敏感であり,縮小セルの明示的な探索のような普遍的に採用された設計は,複雑さを著しく増大させるが,性能に非常に限定的な影響を与える。 多様な検索戦略によって発見されたアーキテクチャ全体にわたって、アーキテクチャのパフォーマンスに重要なセルの部分は、しばしば類似した単純なパターンに従う。 細胞にこれらのパターンを明示的に含ませることによって、ランダムにサンプリングされたアーキテクチャは、芸術の状態をマッチさせたり、上回ったりすることができる。 これらの発見は、既存のセルベースの検索空間で真に新しいアーキテクチャを発見する能力に疑問を投げかけ、今後のnas研究を導くための改善の提案を刺激しました。 コードはhttps://github.com/xingchenwan/cell-based-NAS-analysisで入手できる。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• einspace: Searching for Neural Architectures from Fundamental Operations [28.346238250052455]
  本稿では,パラメータ化された確率的文脈自由文法に基づく検索空間であるeinspaceを紹介する。 競合アーキテクチャはゼロから検索することで得ることができ、強力なベースラインで検索を初期化する際には、常に大きな改善が得られます。
  論文  参考訳（メタデータ） (2024-05-31T14:25:45Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• On the Privacy Risks of Cell-Based NAS Architectures [28.71028000150282]
  我々はNASアーキテクチャのプライバシーリスクを体系的に測定する。 私たちは、プライバシー攻撃に対して堅牢なNASアーキテクチャを設計する方法に光を当てました。 我々はNASが調査したアーキテクチャと他のプライバシーリスクとの隠れた相関を理解するための一般的な方法論を提供する。
  論文  参考訳（メタデータ） (2022-09-04T20:24:04Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Unchain the Search Space with Hierarchical Differentiable Architecture Search [42.32368267716705]
  dasベースの手法は主に繰り返し可能な細胞構造を探索することに集中し、それを複数の段階に順次積み重ねてネットワークを形成する。 細胞レベルでもステージレベルでもアーキテクチャ検索を行う階層的微分可能なアーキテクチャ検索(H-DAS)を提案する。 ステージレベルの探索では,各ステージ内の細胞数やセル間の接続など,ステージのアーキテクチャを体系的に研究する。
  論文  参考訳（メタデータ） (2021-01-11T17:01:43Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
  ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
  論文  参考訳（メタデータ） (2020-05-06T05:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。