論文の概要: A Study on Encodings for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2007.04965v2
- Date: Wed, 17 Feb 2021 23:04:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 03:05:16.709702
- Title: A Study on Encodings for Neural Architecture Search
- Title（参考訳）: ニューラルアーキテクチャ探索のための符号化に関する研究
- Authors: Colin White, Willie Neiswanger, Sam Nolen, Yash Savani
- Abstract要約: 一般的なアプローチは、探索空間における各ニューラルネットワークを有向非巡回グラフ(DAG)として表現することである。
最近の研究は、各アーキテクチャのエンコード方法の小さな変更でさえ、NASアルゴリズムのパフォーマンスに大きな影響を及ぼすことを示した。
本研究は,NASにおけるアーキテクチャエンコーディングの効果に関する最初の公式な研究であり,理論的根拠と実証的研究を含む。
- 参考スコア（独自算出の注目度）: 25.598649405721414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) has been extensively studied in the past few
years. A popular approach is to represent each neural architecture in the
search space as a directed acyclic graph (DAG), and then search over all DAGs
by encoding the adjacency matrix and list of operations as a set of
hyperparameters. Recent work has demonstrated that even small changes to the
way each architecture is encoded can have a significant effect on the
performance of NAS algorithms.
In this work, we present the first formal study on the effect of architecture
encodings for NAS, including a theoretical grounding and an empirical study.
First we formally define architecture encodings and give a theoretical
characterization on the scalability of the encodings we study Then we identify
the main encoding-dependent subroutines which NAS algorithms employ, running
experiments to show which encodings work best with each subroutine for many
popular algorithms. The experiments act as an ablation study for prior work,
disentangling the algorithmic and encoding-based contributions, as well as a
guideline for future work. Our results demonstrate that NAS encodings are an
important design decision which can have a significant impact on overall
performance. Our code is available at
https://github.com/naszilla/nas-encodings.
- Abstract（参考訳）: neural architecture search (nas)はここ数年にわたって広く研究されてきた。
一般的なアプローチは、検索空間内の各ニューラルネットワークを有向非巡回グラフ(dag)として表現し、隣接行列と演算のリストをハイパーパラメータの集合としてエンコードすることですべてのdagを探索する。
最近の研究は、各アーキテクチャのエンコード方法の小さな変更でさえ、NASアルゴリズムのパフォーマンスに大きな影響を及ぼすことを示した。
本稿では,nasに対するアーキテクチャエンコーディングの効果に関する最初の形式的研究として,理論的根拠と経験的研究を紹介する。
まず,アーキテクチャエンコーディングを形式的に定義し,検討したエンコーディングのスケーラビリティに関する理論的特徴付けを行い,nasアルゴリズムが採用する主エンコーディング依存サブルーチンを特定した。
この実験は、先行研究のアブレーション研究として機能し、アルゴリズムとエンコードに基づく貢献を解消し、将来の作業のためのガイドラインとなる。
私たちの結果は、nasエンコーディングが全体的なパフォーマンスに大きな影響を与える重要な設計決定であることを示している。
私たちのコードはhttps://github.com/naszilla/nas-encodingsで利用可能です。
関連論文リスト
- Encodings for Prediction-based Neural Architecture Search [8.564763702766776]
予測に基づく手法は、ニューラルネットワーク探索(NAS)の最適化を大幅に強化した。
従来のエンコーディングでは、ニューラルネットワークのグラフ構造を記述する隣接行列を使用していた。
我々は、構造、学習、スコアベースという3つの主要なタイプのニューラルエンコーディングを分類し、調査する。
textbfFlow textbfAttention for textbfNAS。
論文 参考訳（メタデータ） (2024-03-04T21:05:52Z) - Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。
提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。
実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
論文 参考訳（メタデータ） (2023-08-31T14:54:06Z) - NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳（メタデータ） (2023-01-31T19:48:37Z) - Architecture Augmentation for Performance Predictor Based on Graph
Isomorphism [15.478663248038307]
GIAug というアーキテクチャ拡張手法を提案する。
GIAugは、ほとんどの最先端のピア予測器の性能を大幅に向上させることができることを示す。
さらに、GAAugはImageNet上で3桁の計算コストを節約できる。
論文 参考訳（メタデータ） (2022-07-03T09:04:09Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳（メタデータ） (2022-05-04T16:30:26Z) - CATE: Computation-aware Neural Architecture Encoding with Transformers [14.245023973332783]
ニューラルアーキテクチャサーチ(NAS)におけるアーキテクチャエンコーディングの重要性を示す最近の研究
計算アウェアは、同じ領域に類似した精度でマップアーキテクチャを符号化し、下流アーキテクチャの検索性能を向上させる。
本研究では,計算対応変換器を提案する。
CATEという変換法。
論文 参考訳（メタデータ） (2021-02-14T08:56:53Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language
Processing [12.02718579660613]
我々は自然言語処理(NLP)の中核である言語モデリングタスクを活用することで、コンピュータビジョン領域の外部へ踏み出す。
テキストデータセット上にリカレントニューラルネットワークの検索スペースを提供し、その内部に14kのアーキテクチャをトレーニングしました。
我々は,意味的関連性および言語理解評価のためのデータセットを用いて,訓練されたモデルの内在的および外在的評価を行った。
論文 参考訳（メタデータ） (2020-06-12T12:19:06Z) - A Comprehensive Survey of Neural Architecture Search: Challenges and
Solutions [48.76705090826339]
ニューラルネットワーク探索(NAS)は革命的アルゴリズムであり、関連する研究は複雑でリッチである。
まず、初期のNASアルゴリズムの特徴の概要から始め、これらの初期のNASアルゴリズムの問題を要約する。
さらに,これらの研究の詳細な分析,比較,要約を行う。
論文 参考訳（メタデータ） (2020-06-01T13:08:03Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z) - Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。
本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。
検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
論文 参考訳（メタデータ） (2019-12-31T10:26:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。