論文の概要: SASE: A Searching Architecture for Squeeze and Excitation Operations

• arxiv url: http://arxiv.org/abs/2411.08333v1
• Date: Wed, 13 Nov 2024 04:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:17.035269
• Title: SASE: A Searching Architecture for Squeeze and Excitation Operations
• Title（参考訳）: SASE: Squeeze and Excitation Operationsの検索アーキテクチャ
• Authors: Hanming Wang, Yunlong Li, Zijun Wu, Huifen Wang, Yuan Zhang,
• Abstract要約: SASEはSqueezeとExcitationの検索アーキテクチャである。 特定の検索空間内で検索することで、プラグアンドプレイアテンションブロックを形成する。 様々な視覚的タスクにわたる広範な実験でテストされている。
• 参考スコア（独自算出の注目度）: 6.771162309980474
• License:
• Abstract: In the past few years, channel-wise and spatial-wise attention blocks have been widely adopted as supplementary modules in deep neural networks, enhancing network representational abilities while introducing low complexity. Most attention modules follow a squeeze-and-excitation paradigm. However, to design such attention modules, requires a substantial amount of experiments and computational resources. Neural Architecture Search (NAS), meanwhile, is able to automate the design of neural networks and spares the numerous experiments required for an optimal architecture. This motivates us to design a search architecture that can automatically find near-optimal attention modules through NAS. We propose SASE, a Searching Architecture for Squeeze and Excitation operations, to form a plug-and-play attention block by searching within certain search space. The search space is separated into 4 different sets, each corresponds to the squeeze or excitation operation along the channel or spatial dimension. Additionally, the search sets include not only existing attention blocks but also other operations that have not been utilized in attention mechanisms before. To the best of our knowledge, SASE is the first attempt to subdivide the attention search space and search for architectures beyond currently known attention modules. The searched attention module is tested with extensive experiments across a range of visual tasks. Experimental results indicate that visual backbone networks (ResNet-50/101) using the SASE attention module achieved the best performance compared to those using the current state-of-the-art attention modules. Codes are included in the supplementary material, and they will be made public later.
• Abstract（参考訳）: 過去数年間、ディープニューラルネットワークの補助モジュールとしてチャネルワイドおよび空間ワイドアテンションブロックが広く採用され、ネットワーク表現能力の向上とともに、複雑さの低減が図られている。 ほとんどのアテンションモジュールはシャープ・アンド・エキサイティング・パラダイムに従っている。 しかし、そのような注目モジュールを設計するには、かなりの量の実験と計算資源が必要である。 ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークの設計を自動化し、最適なアーキテクチャに必要な数多くの実験を不要にする。 これにより、NASを介してほぼ最適の注目モジュールを自動的に見つけることができる検索アーキテクチャを設計する動機となる。 SASEは,特定の検索空間内を探索することで,プラグアンドプレイのアテンションブロックを形成する。 探索空間は4つの異なる集合に分離され、それぞれチャネルまたは空間次元に沿った圧縮または励起操作に対応する。 さらに、検索セットには、既存の注意ブロックだけでなく、これまで注意機構に使用されていなかった他の操作も含まれている。 我々の知る限りでは、SASEはアテンション検索空間を分割し、現在知られているアテンションモジュールを超えてアーキテクチャを探索する最初の試みである。 探索されたアテンションモジュールは、様々な視覚的タスクにわたる広範な実験でテストされる。 実験結果から,SASEアテンションモジュールを用いた視覚バックボーンネットワーク(ResNet-50/101)は,現在最先端アテンションモジュールを使用しているものよりも優れた性能を示した。 法典は補足資料に含まれており、後日公表される予定である。

関連論文リスト

• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Mixed-Block Neural Architecture Search for Medical Image Segmentation [0.0]
  医用画像セグメンテーションネットワークのための新しいNAS検索空間を提案する。 U-Netでよく知られる一般化エンコーダデコーダ構造の強みと、画像分類タスクにおいて強力な性能を示すネットワークブロックを組み合わせる。 提案手法により発見されたネットワークは,手作りセグメンテーションネットワークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-02-23T10:32:35Z)
• Full-attention based Neural Architecture Search using Context Auto-regression [18.106878746065536]
  注意ネットワークを検索するためのフルアテンションに基づくNAS手法を提案する。 ネットワークの異なる層に様々な注意操作を適用できるステージワイド検索空間を構築する。 コンテキスト自動回帰を用いた自己教師付き検索アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-11-13T16:07:37Z)
• A Design Space Study for LISTA and Beyond [79.76740811464597]
  近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
  論文  参考訳（メタデータ） (2021-04-08T23:01:52Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Efficient Attention Network: Accelerate Attention by Searching Where to Plug [11.616720452770322]
  本稿では,既存のアテンションモジュールの効率を改善するために,EAN(Efficient Attention Network)というフレームワークを提案する。 EANでは、共有メカニズムを活用して、バックボーン内のアテンションモジュールを共有し、強化学習を通じて共有アテンションモジュールを接続する場所を探索する。 広く使われているベンチマークと一般的な注意ネットワークの実験は、EANの有効性を示している。
  論文  参考訳（メタデータ） (2020-11-28T03:31:08Z)
• Auto-Panoptic: Cooperative Multi-Component Architecture Search for Panoptic Segmentation [144.50154657257605]
  本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。 検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
  論文  参考訳（メタデータ） (2020-10-30T08:34:35Z)
• NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
  ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化する エンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
  論文  参考訳（メタデータ） (2020-02-29T09:18:17Z)
• Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
  Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。 本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。 検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
  論文  参考訳（メタデータ） (2019-12-31T10:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。