論文の概要: HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers

• arxiv url: http://arxiv.org/abs/2106.06560v1
• Date: Fri, 11 Jun 2021 18:11:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:07:18.557614
• Title: HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers
• Title（参考訳）: HR-NAS:軽量トランスを用いた高分解能ニューラルネットワークの探索
• Authors: Mingyu Ding, Xiaochen Lian, Linjie Yang, Peng Wang, Xiaojie Jin, Zhiwu Lu, Ping Luo
• Abstract要約: 高分解能表現(HR)は、セグメンテーション、検出、ポーズ推定といった密集した予測タスクに不可欠である。 この研究はHR-NASと呼ばれる新しいNAS手法を提案し、異なるタスクに対して効率的かつ正確なネットワークを見つけることができる。 HR-NASは、3つの密集予測タスクと画像分類タスクに対して、パフォーマンスとFLOPの間の最先端のトレードオフを達成することができる。
• 参考スコア（独自算出の注目度）: 48.74623838201632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-resolution representations (HR) are essential for dense prediction tasks such as segmentation, detection, and pose estimation. Learning HR representations is typically ignored in previous Neural Architecture Search (NAS) methods that focus on image classification. This work proposes a novel NAS method, called HR-NAS, which is able to find efficient and accurate networks for different tasks, by effectively encoding multiscale contextual information while maintaining high-resolution representations. In HR-NAS, we renovate the NAS search space as well as its searching strategy. To better encode multiscale image contexts in the search space of HR-NAS, we first carefully design a lightweight transformer, whose computational complexity can be dynamically changed with respect to different objective functions and computation budgets. To maintain high-resolution representations of the learned networks, HR-NAS adopts a multi-branch architecture that provides convolutional encoding of multiple feature resolutions, inspired by HRNet. Last, we proposed an efficient fine-grained search strategy to train HR-NAS, which effectively explores the search space, and finds optimal architectures given various tasks and computation resources. HR-NAS is capable of achieving state-of-the-art trade-offs between performance and FLOPs for three dense prediction tasks and an image classification task, given only small computational budgets. For example, HR-NAS surpasses SqueezeNAS that is specially designed for semantic segmentation while improving efficiency by 45.9%. Code is available at https://github.com/dingmyu/HR-NAS
• Abstract（参考訳）: 高分解能表現(HR)は、セグメンテーション、検出、ポーズ推定といった密集した予測タスクに不可欠である。 hr表現の学習は通常、画像分類に焦点を当てた以前のneural architecture search(nas)メソッドでは無視される。 本研究では,高分解能表現を維持しつつ,マルチスケールの文脈情報を効果的に符号化することにより,タスクごとに効率よく正確なネットワークを見つけることができる新しいNAS手法HR-NASを提案する。 HR-NASでは,NAS検索空間と検索戦略を改良する。 hr-nasの探索空間における多スケール画像コンテキストをよりよくエンコードするために、まず、異なる目的関数と計算予算に関して計算の複雑さを動的に変更できる軽量トランスを慎重に設計する。 学習ネットワークの高解像度表現を維持するため、HR-NASはHRNetにインスパイアされた複数の特徴解像度の畳み込み符号化を提供するマルチブランチアーキテクチャを採用している。 最後に、探索空間を効果的に探索するHR-NASを訓練するための効率的なきめ細かい探索戦略を提案し、様々なタスクや計算資源を与えられた最適なアーキテクチャを見出した。 hr-nasは、3つの密集した予測タスクと画像分類タスクでパフォーマンスとフラップの最先端のトレードオフを達成することができる。 例えば、HR-NASはセマンティックセグメンテーションのために特別に設計されたSqueezeNASを超え、効率は45.9%向上した。 コードはhttps://github.com/dingmyu/HR-NASで入手できる。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet [51.60655410423093]
  医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。 従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。 本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
  論文  参考訳（メタデータ） (2021-12-20T16:21:09Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Generic Neural Architecture Search via Regression [27.78105839644199]
  我々は、ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 GenNASはタスク固有のラベルを使用せず、代わりに、アーキテクチャ評価のために手動で設計された合成信号基盤のセットにtextitregressionを採用する。 次に,下流タスク固有のラベルを用いた合成信号の組み合わせを最適化するタスクの自動探索を提案する。
  論文  参考訳（メタデータ） (2021-08-04T08:21:12Z)
• TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search [98.22779489340869]
  本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。 セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。 7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
  論文  参考訳（メタデータ） (2021-05-25T12:15:21Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• MS-NAS: Multi-Scale Neural Architecture Search for Medical Image Segmentation [16.206524842952636]
  本稿では,ネットワークバックボーンからセル操作までのマルチスケール検索空間を特徴とするマルチスケールNASフレームワークを提案する。 セグメンテーションのための様々なデータセットにおいて、MS-NASは最先端の手法より優れており、0.6-5.4% mIOUと0.4-3.5%のDSC改善を実現している。
  論文  参考訳（メタデータ） (2020-07-13T02:02:00Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。