論文の概要: Self-supervised Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2007.01500v1
• Date: Fri, 3 Jul 2020 05:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:27:12.529064
• Title: Self-supervised Neural Architecture Search
• Title（参考訳）: 自己教師型ニューラルアーキテクチャサーチ
• Authors: Sapir Kaplan and Raja Giryes
• Abstract要約: 本稿では,ラベル付きデータを必要とせず,新たなネットワークモデルを見つけることができる自己教師型ニューラルネットワークサーチ(SSNAS)を提案する。 このような検索は,NASを用いた教師あり学習に匹敵する結果となり,自己教師あり学習の性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 41.07083436560303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has been used recently to achieve improved performance in various tasks and most prominently in image classification. Yet, current search strategies rely on large labeled datasets, which limit their usage in the case where only a smaller fraction of the data is annotated. Self-supervised learning has shown great promise in training neural networks using unlabeled data. In this work, we propose a self-supervised neural architecture search (SSNAS) that allows finding novel network models without the need for labeled data. We show that such a search leads to comparable results to supervised training with a "fully labeled" NAS and that it can improve the performance of self-supervised learning. Moreover, we demonstrate the advantage of the proposed approach when the number of labels in the search is relatively small.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、最近、様々なタスクにおいて改善されたパフォーマンスを達成するために使われており、特に画像分類において顕著である。 しかし、現在の検索戦略は大きなラベル付きデータセットに依存しており、アノテートされたデータのごく一部だけの場合、使用量を制限している。 自己教師付き学習は、ラベルのないデータを使用してニューラルネットワークをトレーニングする際の大きな可能性を示している。 本研究では,ラベル付きデータを必要としない新しいネットワークモデルを見つけることができる自己教師型ニューラルネットワーク探索(SSNAS)を提案する。 このような検索は,NASを用いた教師あり学習に匹敵する結果となり,自己教師あり学習の性能を向上させることができることを示す。 さらに,検索におけるラベル数が比較的少ない場合に,提案手法の利点を示す。

関連論文リスト

• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• On the Effectiveness of Neural Ensembles for Image Classification with Small Datasets [2.3478438171452014]
  本稿では,クラスごとのラベル付き例数件による画像分類問題に着目し,比較的小さなネットワークのアンサンブルを用いてデータ効率を向上させる。 比較的浅いネットワークをアンサンブルすることは、小さなデータセットから学ぶための現在の最先端のアプローチよりも一般的に優れている、単純だが効果的な手法であることを示す。
  論文  参考訳（メタデータ） (2021-11-29T12:34:49Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Contrastive Self-supervised Neural Architecture Search [6.162410142452926]
  本稿では,新しいセルベースニューラルアーキテクチャ探索アルゴリズム(NAS)を提案する。 本アルゴリズムは,画像表現における自己教師付き学習の有効性を生かしている。 実験の結果,検索アルゴリズムが最先端の結果を得ることができた。
  論文  参考訳（メタデータ） (2021-02-21T08:38:28Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。