論文の概要: UnrealNAS: Can We Search Neural Architectures with Unreal Data?

• arxiv url: http://arxiv.org/abs/2205.02162v1
• Date: Wed, 4 May 2022 16:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 14:51:43.681035
• Title: UnrealNAS: Can We Search Neural Architectures with Unreal Data?
• Title（参考訳）: UnrealNAS: ニューラルネットワークを非現実データで検索できるか?
• Authors: Zhen Dong, Kaicheng Zhou, Guohao Li, Qiang Zhou, Mingfei Guo, Bernard Ghanem, Kurt Keutzer, and Shanghang Zhang
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
• 参考スコア（独自算出の注目度）: 84.78460976605425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has shown great success in the automatic design of deep neural networks (DNNs). However, the best way to use data to search network architectures is still unclear and under exploration. Previous work [19, 46] has analyzed the necessity of having ground-truth labels in NAS and inspired broad interest. In this work, we take a further step to question whether real data is necessary for NAS to be effective. The answer to this question is important for applications with limited amount of accessible data, and can help people improve NAS by leveraging the extra flexibility of data generation. To explore if NAS needs real data, we construct three types of unreal datasets using: 1) randomly labeled real images; 2) generated images and labels; and 3) generated Gaussian noise with random labels. These datasets facilitate to analyze the generalization and expressivity of the searched architectures. We study the performance of architectures searched on these constructed datasets using popular differentiable NAS methods. Extensive experiments on CIFAR, ImageNet and CheXpert [12] show that the searched architectures can achieve promising results compared with those derived from the conventional NAS pipeline with real labeled data, suggesting the feasibility of performing NAS with unreal data.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めている。 しかし、ネットワークアーキテクチャの検索にデータを使う最善の方法は、まだ不明であり、探索中である。 これまでの作業 [19, 46] は,NASに地道ラベルを持つことの必要性を分析し,幅広い関心を喚起した。 本研究では,NASが有効であるためには,実際のデータが必要であるかどうか,さらに議論する。 この質問に対する回答は、アクセス可能なデータ量が限られているアプリケーションにとって重要であり、データ生成の余分な柔軟性を活用することでNASを改善するのに役立つ。 nasが実際のデータを必要とするかどうかを調べるために、以下の3種類のunrealデータセットを構築します。 1) ランダムにラベルづけされた実画像 2) 生成された画像及びラベル 3)ランダムラベルを用いたガウス雑音の発生 これらのデータセットは、探索されたアーキテクチャの一般化と表現性を分析するのに役立つ。 本研究では,これらの構築したデータセットから検索したアーキテクチャの性能を,一般的な微分可能なNAS手法を用いて検討する。 CIFAR, ImageNet, CheXpert [12] の大規模な実験により, 検索したアーキテクチャは, 実際のラベル付きデータを用いた従来のNASパイプラインから得られたものと比較して, 有望な結果が得られることを示した。

関連論文リスト

• Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
  本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。 まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。 次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。 最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T12:39:02Z)
• GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models [48.57083463364353]
  ランダムグラフモデル学習のレンズを用いて,ニューラルアーキテクチャサーチ(NAS)について検討する。 本稿では,優れたアーキテクチャの分布を学習するグラフ生成モデルGraphPNASを提案する。 提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-11-28T09:09:06Z)
• Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets [42.993720854755736]
  本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
  論文  参考訳（メタデータ） (2021-07-02T06:33:59Z)
• Accelerating Neural Architecture Search via Proxy Data [17.86463546971522]
  ニューラルアーキテクチャ探索(NAS)に適した新しいプロキシデータ選択法を提案する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しかかからない。 提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、2.4%の最先端テストエラーが生成される。
  論文  参考訳（メタデータ） (2021-06-09T03:08:53Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Neural Architecture Search with Random Labels [16.18010700582234]
  ランダムラベル(RLNAS)を用いたニューラルアーキテクチャサーチ(NAS)パラダイムの新しい変種について検討する。 RLNASは、PC-DARTSやSingle Path One-Shotのような最先端のNAS手法と比較すると、同等またはそれ以上の結果が得られる。
  論文  参考訳（メタデータ） (2021-01-28T06:41:48Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。