論文の概要: Are Labels Necessary for Neural Architecture Search?
- arxiv url: http://arxiv.org/abs/2003.12056v2
- Date: Mon, 3 Aug 2020 15:18:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 21:23:51.210514
- Title: Are Labels Necessary for Neural Architecture Search?
- Title(参考訳): ラベルはニューラルネットワークの検索に必要か?
- Authors: Chenxi Liu, Piotr Doll\'ar, Kaiming He, Ross Girshick, Alan Yuille,
Saining Xie
- Abstract要約: コンピュータビジョンにおける既存のニューラルネットワークアーキテクチャは、画像とそれに関連するラベルの両方を使用して発見されるのが一般的である。
本稿では,画像のみを使用して高品質なニューラルアーキテクチャを見つけることができるが,人間の注釈付きラベルは存在しないか,という疑問を提起する。
- 参考スコア(独自算出の注目度): 53.559500831358534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing neural network architectures in computer vision -- whether designed
by humans or by machines -- were typically found using both images and their
associated labels. In this paper, we ask the question: can we find high-quality
neural architectures using only images, but no human-annotated labels? To
answer this question, we first define a new setup called Unsupervised Neural
Architecture Search (UnNAS). We then conduct two sets of experiments. In
sample-based experiments, we train a large number (500) of diverse
architectures with either supervised or unsupervised objectives, and find that
the architecture rankings produced with and without labels are highly
correlated. In search-based experiments, we run a well-established NAS
algorithm (DARTS) using various unsupervised objectives, and report that the
architectures searched without labels can be competitive to their counterparts
searched with labels. Together, these results reveal the potentially surprising
finding that labels are not necessary, and the image statistics alone may be
sufficient to identify good neural architectures.
- Abstract(参考訳): コンピュータビジョンにおける既存のニューラルネットワークアーキテクチャ(人間によって設計されるか、機械によって設計されるか)は、通常、画像と関連するラベルの両方を使用して発見される。
本稿では,画像のみを使用して高品質なニューラルアーキテクチャを見つけることができるが,人間の注釈付きラベルは存在しないか?
この質問に答えるために、まずUnsupervised Neural Architecture Search (UnNAS)と呼ばれる新しい設定を定義します。
次に2つの実験を行います
サンプルベース実験では,教師付きあるいは教師なしの目的を持った多種多様なアーキテクチャ (500) を訓練し,ラベル付きおよびラベルなしのアーキテクチャランキングに高い相関関係があることを見出した。
探索に基づく実験では、教師なしの目的を用いて、よく確立されたNASアルゴリズム(DARTS)を実行し、ラベルなしで検索されたアーキテクチャがラベルで検索されたアーキテクチャと競合する可能性があることを報告する。
これらの結果は、ラベルは必要ないという潜在的に驚くべき発見を示し、画像の統計だけでは優れたニューラルネットワークを識別できる可能性がある。
関連論文リスト
- GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳(メタデータ) (2023-05-15T12:44:54Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳(メタデータ) (2022-05-04T16:30:26Z) - Data-Free Neural Architecture Search via Recursive Label Calibration [34.84457903882755]
本稿では,事前学習モデルのみを用いたニューラルネットワーク探索の実現可能性を検討することを目的としている。
まず、トレーニング済みのディープニューラルネットワークから知識を回復することで、使用可能なデータを合成する。
我々は提案するフレームワークをDARTS, ProxylessNAS, SPOSの3つの一般的なNASアルゴリズムでインスタンス化する。
論文 参考訳(メタデータ) (2021-12-03T18:53:16Z) - Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。
ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
論文 参考訳(メタデータ) (2021-03-24T15:20:38Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳(メタデータ) (2021-02-23T07:50:44Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳(メタデータ) (2020-10-26T11:57:37Z) - Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task
Correlation Information for Label Aggregation in Crowdsourcing [72.34616482076572]
クラウドソーシングは専門家ではなく、専門家でない労働者からラベルを集めるのに便利であることから、多くの注目を集めている。
群集ラベルを集約するグラフニューラルネットワークに基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-25T10:12:37Z) - Self-supervised Neural Architecture Search [41.07083436560303]
本稿では,ラベル付きデータを必要とせず,新たなネットワークモデルを見つけることができる自己教師型ニューラルネットワークサーチ(SSNAS)を提案する。
このような検索は,NASを用いた教師あり学習に匹敵する結果となり,自己教師あり学習の性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2020-07-03T05:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。