論文の概要: HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices

• arxiv url: http://arxiv.org/abs/2303.04440v1
• Date: Wed, 8 Mar 2023 08:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 14:40:52.556518
• Title: HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices
• Title（参考訳）: HyT-NAS:エッジデバイスのためのハイブリッドトランスフォーマーニューラルアーキテクチャ検索
• Authors: Lotfi Abdelkrim Mecharbat, Hadjer Benmeziane, Hamza Ouranoughi and Smail Niar
• Abstract要約: ビジョントランスフォーマーは、コンピュータビジョン(CV)タスクにおいて顕著な結果を達成するために、注意に基づくディープラーニング(DL)アーキテクチャを可能にした。 画像分類や物体検出などのCVタスクに対する手作り畳み込みと注意に基づくハイブリッドモデルについて検討している。 我々は,HyT-awareを提案する。HyT-aware,HW-NAS,HyT-aware,HyT-aware,HW-NAS,HyT-aware,HyT-aware,Hawware-erf Architecture Search,HW-NAS)。
• 参考スコア（独自算出の注目度）: 0.8602553195689513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers have enabled recent attention-based Deep Learning (DL) architectures to achieve remarkable results in Computer Vision (CV) tasks. However, due to the extensive computational resources required, these architectures are rarely implemented on resource-constrained platforms. Current research investigates hybrid handcrafted convolution-based and attention-based models for CV tasks such as image classification and object detection. In this paper, we propose HyT-NAS, an efficient Hardware-aware Neural Architecture Search (HW-NAS) including hybrid architectures targeting vision tasks on tiny devices. HyT-NAS improves state-of-the-art HW-NAS by enriching the search space and enhancing the search strategy as well as the performance predictors. Our experiments show that HyT-NAS achieves a similar hypervolume with less than ~5x training evaluations. Our resulting architecture outperforms MLPerf MobileNetV1 by 6.3% accuracy improvement with 3.5x less number of parameters on Visual Wake Words.
• Abstract（参考訳）: ビジョントランスフォーマーは近年,コンピュータビジョン(CV)タスクにおいて,注目度に基づくディープラーニング(DL)アーキテクチャを実現する。 しかし、膨大な計算資源を必要とするため、これらのアーキテクチャはリソース制約のあるプラットフォーム上ではほとんど実装されない。 画像分類や物体検出などのCVタスクに対する手作り畳み込みと注意に基づくハイブリッドモデルについて検討している。 本稿では,小型デバイス上での視覚タスクを対象とするハイブリッドアーキテクチャを含む,効率的なハードウェアアウェアニューラルアーキテクチャ探索(hw-nas)であるhyt-nasを提案する。 HyT-NASは、検索空間を充実させ、検索戦略と性能予測器を強化することにより、最先端のHW-NASを改善する。 実験の結果,HyT-NASは5倍以下のトレーニング評価で同様のハイパーボリュームを実現することがわかった。 その結果、MLPerf MobileNetV1の精度は6.3%向上し、Visual Wake Wordsのパラメータ数は3.5倍減少した。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
  コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:52:28Z)
• Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
  アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。 Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2023-04-21T18:07:14Z)
• Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs [10.680700357879601]
  ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。 既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
  論文  参考訳（メタデータ） (2022-04-09T00:35:19Z)
• HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet [51.60655410423093]
  医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。 従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。 本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
  論文  参考訳（メタデータ） (2021-12-20T16:21:09Z)
• Searching the Search Space of Vision Transformer [98.96601221383209]
  視覚変換器は、認識や検出などの視覚的なタスクにおいて、大きな視覚的表現力を示してきた。 我々は,このプロセスを自動化するために,アーキテクチャだけでなく検索空間も探索することで,ニューラルアーキテクチャサーチを提案する。 空間探索プロセスに応じて広範に解析を行う汎用視覚変換器の設計ガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-11-29T17:26:07Z)
• Searching for Efficient Multi-Stage Vision Transformers [42.0565109812926]
  Vision Transformer (ViT)は、自然言語処理のためのTransformerがコンピュータビジョンタスクに適用可能であることを示す。 ViT-ResNASは、ニューラルネットワークサーチ(NAS)で設計された効率的なマルチステージViTアーキテクチャである
  論文  参考訳（メタデータ） (2021-09-01T22:37:56Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。