論文の概要: One Network Doesn't Rule Them All: Moving Beyond Handcrafted
Architectures in Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2203.08130v1
- Date: Tue, 15 Mar 2022 17:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-16 12:41:58.493000
- Title: One Network Doesn't Rule Them All: Moving Beyond Handcrafted
Architectures in Self-Supervised Learning
- Title（参考訳）: 1つのネットワークが全てを支配していない: 自己監督型学習における手作りアーキテクチャを超えて
- Authors: Sharath Girish, Debadeepta Dey, Neel Joshi, Vibhav Vineet, Shital
Shah, Caio Cesar Teodoro Mendes, Abhinav Shrivastava, Yale Song
- Abstract要約: ネットワークアーキテクチャが自己教師型学習(SSL)において重要な役割を果たすことを示す。
我々は、ResNetおよびMobileNetアーキテクチャの100種類以上のバリエーションを用いて研究を行い、SSL設定の11のダウンストリームシナリオでそれらを評価した。
自己教師型アーキテクチャ」は,大規模で計算量の多いResNet50と競合しながら,人気のハンドクラフトアーキテクチャよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 45.34419286124694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current literature on self-supervised learning (SSL) focuses on
developing learning objectives to train neural networks more effectively on
unlabeled data. The typical development process involves taking
well-established architectures, e.g., ResNet demonstrated on ImageNet, and
using them to evaluate newly developed objectives on downstream scenarios.
While convenient, this does not take into account the role of architectures
which has been shown to be crucial in the supervised learning literature. In
this work, we establish extensive empirical evidence showing that a network
architecture plays a significant role in SSL. We conduct a large-scale study
with over 100 variants of ResNet and MobileNet architectures and evaluate them
across 11 downstream scenarios in the SSL setting. We show that there is no one
network that performs consistently well across the scenarios. Based on this, we
propose to learn not only network weights but also architecture topologies in
the SSL regime. We show that "self-supervised architectures" outperform popular
handcrafted architectures (ResNet18 and MobileNetV2) while performing
competitively with the larger and computationally heavy ResNet50 on major image
classification benchmarks (ImageNet-1K, iNat2021, and more). Our results
suggest that it is time to consider moving beyond handcrafted architectures in
SSL and start thinking about incorporating architecture search into
self-supervised learning objectives.
- Abstract（参考訳）: 自己教師付き学習(SSL)に関する現在の文献は、ラベルのないデータに基づいてニューラルネットワークをより効果的にトレーニングするための学習目標の開発に焦点を当てている。
典型的な開発プロセスは、imagenetでデモされたresnetのような確立されたアーキテクチャを取り、それらを下流のシナリオで新しく開発された目標を評価するために使用する。
これは便利ではあるが、教師付き学習文学において重要視されているアーキテクチャの役割を考慮に入れていない。
本研究では、SSLにおいてネットワークアーキテクチャが重要な役割を果たすことを示す広範な実証的証拠を確立する。
我々は,100以上のresnetアーキテクチャとmobilenetアーキテクチャを用いた大規模研究を行い,ssl設定の11のダウンストリームシナリオで評価した。
シナリオにまたがって一貫して機能するネットワークは1つも存在しないことを示す。
そこで我々は,ネットワーク重みだけでなく,SSL方式のアーキテクチャトポロジも学習することを提案する。
本研究では,画像分類ベンチマーク(ImageNet-1K, iNat2021など)において,大規模で計算量の多いResNet50と競合しながら,"自己教師型アーキテクチャ"が人気ハンドクラフトアーキテクチャ(ResNet18, MobileNetV2)を上回っていることを示す。
この結果から,SSLにおける手作りアーキテクチャを超えて,アーキテクチャ検索を自己指導型学習対象に組み込むことを考えるべき時が来たことを示唆している。
関連論文リスト
- NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳（メタデータ） (2023-01-31T19:48:37Z) - Hybrid BYOL-ViT: Efficient approach to deal with small Datasets [0.0]
本稿では,ラベルなしデータの強大かつ十分な増大を伴う自己超越が,ニューラルネットワークの第1層を効果的に学習する方法について検討する。
自己教師型アーキテクチャから派生した低レベルの特徴は、この創発的アーキテクチャの堅牢性と全体的な性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-11-08T21:44:31Z) - Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。
このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
論文 参考訳（メタデータ） (2021-10-26T03:28:36Z) - Efficient Neural Architecture Search with Performance Prediction [0.0]
ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。
既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。
サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
論文 参考訳（メタデータ） (2021-08-04T05:44:16Z) - Pretraining Neural Architecture Search Controllers with Locality-based
Self-Supervised Learning [0.0]
コントローラベースのNASに適用可能なプリトレーニング方式を提案する。
本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
論文 参考訳（メタデータ） (2021-03-15T06:30:36Z) - D2RL: Deep Dense Architectures in Reinforcement Learning [47.67475810050311]
コンピュータビジョンと生成モデルにおけるアーキテクチャ選択の成功からインスピレーションを得ます。
各種ロボット学習ベンチマーク環境における強化学習における深層ネットワークと高密度接続の利用について検討した。
論文 参考訳（メタデータ） (2020-10-19T01:27:07Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。