論文の概要: Towards Discovering Neural Architectures from Scratch

• arxiv url: http://arxiv.org/abs/2211.01842v1
• Date: Thu, 3 Nov 2022 14:23:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 11:57:03.451034
• Title: Towards Discovering Neural Architectures from Scratch
• Title（参考訳）: ニューラルアーキテクチャをスクラッチから発見する
• Authors: Simon Schrodi, Danny Stoll, Binxin Ru, Rhea Sukthanker, Thomas Brox, Frank Hutter
• Abstract要約: 我々は、アーキテクチャを代数的に表現することで、スクラッチからニューラルネットワークを発見するための大きな一歩を踏み出した。 この視点は、より一般的な検索空間の設計方法となり、文献から得られる共通空間よりも100桁大きい探索空間をコンパクトに表現することができる。
• 参考スコア（独自算出の注目度）: 64.72924432715207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The discovery of neural architectures from scratch is the long-standing goal of Neural Architecture Search (NAS). Searching over a wide spectrum of neural architectures can facilitate the discovery of previously unconsidered but well-performing architectures. In this work, we take a large step towards discovering neural architectures from scratch by expressing architectures algebraically. This algebraic view leads to a more general method for designing search spaces, which allows us to compactly represent search spaces that are 100s of orders of magnitude larger than common spaces from the literature. Further, we propose a Bayesian Optimization strategy to efficiently search over such huge spaces, and demonstrate empirically that both our search space design and our search strategy can be superior to existing baselines. We open source our algebraic NAS approach and provide APIs for PyTorch and TensorFlow.
• Abstract（参考訳）: スクラッチからニューラルアーキテクチャの発見は、Neural Architecture Search(NAS)の長年の目標である。 広い範囲のニューラルアーキテクチャを探索することで、以前は考えられていなかったが、優れたアーキテクチャの発見が容易になる。 この研究では、アーキテクチャを代数的に表現することで、スクラッチからニューラルアーキテクチャを発見するための大きな一歩を踏み出します。 この代数的視点は、検索空間を設計するためのより一般的な方法へと導かれるので、文献から得られる共通空間よりも100桁大きい探索空間をコンパクトに表現することができる。 さらに,このような巨大な空間を効率的に探索するためのベイズ最適化戦略を提案し,探索空間設計と探索戦略が既存のベースラインよりも優れていることを示す。 代数的NASアプローチをオープンソース化し、PyTorchとTensorFlow用のAPIを提供します。

関連論文リスト

• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• Automated Dominative Subspace Mining for Efficient Neural Architecture Search [36.06889021273405]
  DSM-NAS(Dominative Subspace Mining)を用いたニューラルアーキテクチャ探索手法を提案する。 DSM-NASは自動的にマイニングされたサブスペースで有望なアーキテクチャを見つける。 実験の結果,DSM-NASは検索コストを削減できるだけでなく,様々なベンチマーク検索空間における最先端手法よりも優れたアーキテクチャも発見できることがわかった。
  論文  参考訳（メタデータ） (2022-10-31T09:54:28Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• Unchain the Search Space with Hierarchical Differentiable Architecture Search [42.32368267716705]
  dasベースの手法は主に繰り返し可能な細胞構造を探索することに集中し、それを複数の段階に順次積み重ねてネットワークを形成する。 細胞レベルでもステージレベルでもアーキテクチャ検索を行う階層的微分可能なアーキテクチャ検索(H-DAS)を提案する。 ステージレベルの探索では,各ステージ内の細胞数やセル間の接続など,ステージのアーキテクチャを体系的に研究する。
  論文  参考訳（メタデータ） (2021-01-11T17:01:43Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)
• AutoSTR: Efficient Backbone Search for Scene Text Recognition [80.7290173000068]
  テキストインスタンスの多様性とシーンの複雑さのため、シーンテキスト認識(STR)は非常に難しい。 テキスト認識性能を向上させるために,データ依存のバックボーンを検索するための自動STR(AutoSTR)を提案する。 実験によると、データ依存のバックボーンを検索することで、AutoSTRは標準ベンチマークにおける最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2020-03-14T06:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。