論文の概要: Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs

• arxiv url: http://arxiv.org/abs/2204.14007v1
• Date: Sat, 9 Apr 2022 00:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 01:10:30.770512
• Title: Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
• Title（参考訳）: エッジTPU上でのオンデバイスMLのための効率的なニューラルネットワークの探索
• Authors: Berkin Akin, Suyog Gupta, Yun Long, Anton Spiridonov, Zhuo Wang, Marie White, Hao Xu, Ping Zhou, Yanqi Zhou
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。 既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
• 参考スコア（独自算出の注目度）: 10.680700357879601
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: On-device ML accelerators are becoming a standard in modern mobile system-on-chips (SoC). Neural architecture search (NAS) comes to the rescue for efficiently utilizing the high compute throughput offered by these accelerators. However, existing NAS frameworks have several practical limitations in scaling to multiple tasks and different target platforms. In this work, we provide a two-pronged approach to this challenge: (i) a NAS-enabling infrastructure that decouples model cost evaluation, search space design, and the NAS algorithm to rapidly target various on-device ML tasks, and (ii) search spaces crafted from group convolution based inverted bottleneck (IBN) variants that provide flexible quality/performance trade-offs on ML accelerators, complementing the existing full and depthwise convolution based IBNs. Using this approach we target a state-of-the-art mobile platform, Google Tensor SoC, and demonstrate neural architectures that improve the quality-performance pareto frontier for various computer vision (classification, detection, segmentation) as well as natural language processing tasks.
• Abstract（参考訳）: オンデバイスMLアクセラレータは、現代のモバイルシステムオンチップ(SoC)において標準になっている。 neural architecture search (nas)は、これらのアクセラレータによって提供される高い計算スループットを効率的に利用するために救助される。 しかし、既存のNASフレームワークは、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 本研究では,この課題に対する2つのアプローチを提案します。 一 モデルコスト評価、検索空間設計及びNASアルゴリズムを分離し、様々なデバイス上でのMLタスクを迅速にターゲットするNAS対応基盤 (II)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間は、MLアクセラレーター上で柔軟な品質/性能トレードオフを提供し、既存の完全および深度畳み込みに基づくISNを補完する。 このアプローチを使用することで、最先端のモバイルプラットフォームであるGoogle Tensor SoCをターゲットとし、さまざまなコンピュータビジョン(分類、検出、セグメンテーション)や自然言語処理タスクのクオリティ-パフォーマンスのパレートフロンティアを改善するニューラルネットワークを実証する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Multi-Objective Neural Architecture Search for In-Memory Computing [0.5892638927736115]
  我々は、インメモリコンピューティングアーキテクチャに多様な機械学習(ML)タスクをデプロイする効率を高めるために、ニューラルネットワークサーチ(NAS)を採用している。 IMCアーキテクチャ展開のためのNASアプローチの評価は、3つの異なる画像分類データセットにまたがる。
  論文  参考訳（メタデータ） (2024-06-10T19:17:09Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
  コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:52:28Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks [10.946374356026679]
  我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。 多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。 我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
  論文  参考訳（メタデータ） (2020-08-19T14:29:36Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。