論文の概要: UniNet: Unified Architecture Search with Convolution, Transformer, and MLP

• arxiv url: http://arxiv.org/abs/2207.05420v1
• Date: Tue, 12 Jul 2022 09:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 23:07:03.140766
• Title: UniNet: Unified Architecture Search with Convolution, Transformer, and MLP
• Title（参考訳）: UniNet: 畳み込み、トランスフォーマー、MLPを備えた統一アーキテクチャ検索
• Authors: Jihao Liu and Xin Huang and Guanglu Song and Yu Liu and Hongsheng Li
• Abstract要約: 本稿では,高性能ネットワークのための新しい統一アーキテクチャ探索手法を提案する。 まず、全く異なる探索可能作用素を統一形式でモデル化する。 次に、異なるタイプの演算子間のギャップを軽減するために、コンテキスト対応のダウンサンプリングモジュール(DSM)を提案する。 第3に,演算子とDSMを統合検索空間に統合し,強化学習に基づく探索アルゴリズムを用いて探索する。
• 参考スコア（独自算出の注目度）: 39.489331136395535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, transformer and multi-layer perceptron (MLP) architectures have achieved impressive results on various vision tasks. However, how to effectively combine those operators to form high-performance hybrid visual architectures still remains a challenge. In this work, we study the learnable combination of convolution, transformer, and MLP by proposing a novel unified architecture search approach. Our approach contains two key designs to achieve the search for high-performance networks. First, we model the very different searchable operators in a unified form, and thus enable the operators to be characterized with the same set of configuration parameters. In this way, the overall search space size is significantly reduced, and the total search cost becomes affordable. Second, we propose context-aware downsampling modules (DSMs) to mitigate the gap between the different types of operators. Our proposed DSMs are able to better adapt features from different types of operators, which is important for identifying high-performance hybrid architectures. Finally, we integrate configurable operators and DSMs into a unified search space and search with a Reinforcement Learning-based search algorithm to fully explore the optimal combination of the operators. To this end, we search a baseline network and scale it up to obtain a family of models, named UniNets, which achieve much better accuracy and efficiency than previous ConvNets and Transformers. In particular, our UniNet-B5 achieves 84.9% top-1 accuracy on ImageNet, outperforming EfficientNet-B7 and BoTNet-T7 with 44% and 55% fewer FLOPs respectively. By pretraining on the ImageNet-21K, our UniNet-B6 achieves 87.4%, outperforming Swin-L with 51% fewer FLOPs and 41% fewer parameters. Code is available at https://github.com/Sense-X/UniNet.
• Abstract（参考訳）: 近年,変圧器と多層パーセプトロン (MLP) アーキテクチャは様々な視覚タスクにおいて印象的な成果を上げている。 しかし、これらの演算子を効果的に組み合わせてハイパフォーマンスなハイブリッドビジュアルアーキテクチャを構築する方法は依然として課題である。 本研究では,新しいアーキテクチャ探索手法を提案することにより,畳み込み,トランスフォーマー,MLPの学習可能な組み合わせについて検討する。 提案手法には,高性能ネットワークの探索を実現するための2つの重要な設計が含まれている。 まず、非常に異なる検索可能な演算子を統一した形式でモデル化することで、演算子を同じ構成パラメータで特徴付けることができる。 このようにして、検索スペース全体のサイズが大幅に削減され、検索コストの合計が安価になる。 第2に,異なる種類の演算子間のギャップを軽減するために,コンテキスト認識型ダウンサンプリングモジュール(dsms)を提案する。 提案したDSMは,高性能ハイブリッドアーキテクチャの同定に重要な,さまざまなタイプの演算子の特徴を適応させることができる。 最後に、構成可能な演算子とDSMを統一検索空間に統合し、強化学習に基づく探索アルゴリズムを用いて演算子の最適組み合わせを探索する。 この目的のために,ベースラインネットワークを探索し,UniNetと呼ばれるモデル群をスケールアップし,従来のConvNetやTransformerよりもはるかに精度と効率のよいモデル群を得る。 特に、私たちのUniNet-B5は、ImageNetの84.9%のトップ-1精度を達成し、それぞれ44%と55%のFLOPで効率の良いNet-B7とBoTNet-T7を上回った。 ImageNet-21Kで事前トレーニングを行うことで、UniNet-B6は87.4%を達成し、51%のFLOP、41%のパラメータでSwin-Lを上回った。 コードはhttps://github.com/Sense-X/UniNetで入手できる。

関連論文リスト

• Differentiable Model Scaling using Differentiable Topk [12.084701778797854]
  本研究では,ネットワークの最適幅と深さを探索する効率を高めるため,微分可能モデルスケーリング(DMS)を提案する。 結果は,我々のDMSが改良された構造を見つけ,最先端NAS法より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-12T07:34:33Z)
• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
  スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。 本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。 我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
  論文  参考訳（メタデータ） (2023-06-21T16:52:20Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• UniNet: Unified Architecture Search with Convolution, Transformer, and MLP [62.401161377258234]
  本稿では,コンボリューション,トランスフォーマー,COCOの最適組み合わせを共同で探索し,一連の全演算型ネットワークアーキテクチャを構築することを提案する。 広範に使われているストリップド・コンボリューション (strided convolution) あるいはプール・ベース・ダウンサンプリング・モジュールは,演算子を結合してネットワークを形成する場合,性能上のボトルネックとなる。 変換器と演算子によって捕捉されるグローバルなコンテキストによりよく対処するために,2つの新しいコンテキスト対応ダウンサンプリングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-10-08T11:09:40Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。