論文の概要: NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks
- arxiv url: http://arxiv.org/abs/2302.00059v1
- Date: Tue, 31 Jan 2023 19:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 14:02:28.033050
- Title: NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks
- Title（参考訳）: NASiam:シームズネットワークのためのニューラルネットワークによる効率的な表現学習
- Authors: Alexandre Heuillet, Hedi Tabia, Hichem Arioui
- Abstract要約: シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
- 参考スコア（独自算出の注目度）: 76.8112416450677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Siamese networks are one of the most trending methods to achieve
self-supervised visual representation learning (SSL). Since hand labeling is
costly, SSL can play a crucial part by allowing deep learning to train on large
unlabeled datasets. Meanwhile, Neural Architecture Search (NAS) is becoming
increasingly important as a technique to discover novel deep learning
architectures. However, early NAS methods based on reinforcement learning or
evolutionary algorithms suffered from ludicrous computational and memory costs.
In contrast, differentiable NAS, a gradient-based approach, has the advantage
of being much more efficient and has thus retained most of the attention in the
past few years. In this article, we present NASiam, a novel approach that uses
for the first time differentiable NAS to improve the multilayer perceptron
projector and predictor (encoder/predictor pair) architectures inside
siamese-networks-based contrastive learning frameworks (e.g., SimCLR, SimSiam,
and MoCo) while preserving the simplicity of previous baselines. We crafted a
search space designed explicitly for multilayer perceptrons, inside which we
explored several alternatives to the standard ReLU activation function. We show
that these new architectures allow ResNet backbone convolutional models to
learn strong representations efficiently. NASiam reaches competitive
performance in both small-scale (i.e., CIFAR-10/CIFAR-100) and large-scale
(i.e., ImageNet) image classification datasets while costing only a few GPU
hours. We discuss the composition of the NAS-discovered architectures and emit
hypotheses on why they manage to prevent collapsing behavior. Our code is
available at https://github.com/aheuillet/NASiam.
- Abstract（参考訳）: siamese networkは、自己教師付きビジュアル表現学習(ssl)を実現する最も傾向のある方法の1つである。
ハンドラベリングはコストがかかるため、SSLは大規模なラベルなしデータセットでディープラーニングをトレーニングすることで、重要な役割を果たすことができる。
一方、ニューラルネットワーク検索(NAS)は、新しいディープラーニングアーキテクチャを発見する技術としてますます重要になりつつある。
しかし、強化学習や進化的アルゴリズムに基づく初期のnas法は、強烈な計算とメモリコストに苦しんだ。
対照的に、勾配ベースのアプローチである differentiable nas は、より効率的であることの利点があり、そのため過去数年間、多くの注目を集めてきた。
本稿では,従来のベースラインの単純さを保ちつつ,シャムネットワークベースのコントラスト学習フレームワーク(例えばsimclr,simsiam,moco)内の多層型パーセプトロンプロジェクタと予測子(エンコーダ/予測子ペア)アーキテクチャを改善するために,初めて微分可能なnasを使用する新しいアプローチであるnasiamを提案する。
我々は,多層パーセプトロンを対象とする探索空間を考案し,その内部に標準relu活性化関数の代替案をいくつか検討した。
これらの新しいアーキテクチャにより、ResNetのバックボーン畳み込みモデルは強力な表現を効率的に学習できることを示す。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
我々はNASが発見するアーキテクチャの構成について議論し、なぜ崩壊を防げるかという仮説を公表する。
私たちのコードはhttps://github.com/aheuillet/NASiamで利用可能です。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。
提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。
実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
論文 参考訳（メタデータ） (2023-08-31T14:54:06Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - Pretraining Neural Architecture Search Controllers with Locality-based
Self-Supervised Learning [0.0]
コントローラベースのNASに適用可能なプリトレーニング方式を提案する。
本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
論文 参考訳（メタデータ） (2021-03-15T06:30:36Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - Revisiting Neural Architecture Search [0.0]
我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。
提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
論文 参考訳（メタデータ） (2020-10-12T13:57:30Z) - Learning Architectures from an Extended Search Space for Language
Modeling [37.79977691127229]
ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。
繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。
学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
論文 参考訳（メタデータ） (2020-05-06T05:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。