論文の概要: Search-time Efficient Device Constraints-Aware Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2307.04443v1
• Date: Mon, 10 Jul 2023 09:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 13:29:51.773563
• Title: Search-time Efficient Device Constraints-Aware Neural Architecture Search
• Title（参考訳）: 探索時間効率のよいデバイス制約-ニューラルネットワークの探索
• Authors: Oshin Dutta, Tanu Kanvar, Sumeet Agarwal
• Abstract要約: コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
• 参考スコア（独自算出の注目度）: 6.527454079441765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Edge computing aims to enable edge devices, such as IoT devices, to process data locally instead of relying on the cloud. However, deep learning techniques like computer vision and natural language processing can be computationally expensive and memory-intensive. Creating manual architectures specialized for each device is infeasible due to their varying memory and computational constraints. To address these concerns, we automate the construction of task-specific deep learning architectures optimized for device constraints through Neural Architecture Search (NAS). We present DCA-NAS, a principled method of fast neural network architecture search that incorporates edge-device constraints such as model size and floating-point operations. It incorporates weight sharing and channel bottleneck techniques to speed up the search time. Based on our experiments, we see that DCA-NAS outperforms manual architectures for similar sized models and is comparable to popular mobile architectures on various image classification datasets like CIFAR-10, CIFAR-100, and Imagenet-1k. Experiments with search spaces -- DARTS and NAS-Bench-201 show the generalization capabilities of DCA-NAS. On further evaluating our approach on Hardware-NAS-Bench, device-specific architectures with low inference latency and state-of-the-art performance were discovered.
• Abstract（参考訳）: エッジコンピューティングは、クラウドに頼るのではなく、IoTデバイスなどのエッジデバイスがデータをローカルに処理できるようにすることを目的としている。 しかし、コンピュータビジョンや自然言語処理のようなディープラーニング技術は計算コストが高く、メモリ集約的である。 各デバイスに特化した手動アーキテクチャの作成は、そのメモリや計算上の制約によって実現不可能である。 これらの問題に対処するため,ニューラルアーキテクチャサーチ(NAS)により,デバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,モデルサイズや浮動小数点演算などのエッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索手法であるdca-nasを提案する。 ウェイトシェアリングとチャンネルボトルネック技術を使って検索時間を短縮する。 実験の結果, DCA-NASは同様のサイズのモデルに対して手動アーキテクチャよりも優れており, CIFAR-10, CIFAR-100, Imagenet-1kなどの画像分類データセット上で人気のモバイルアーキテクチャに匹敵することがわかった。 DARTSとNAS-Bench-201による探索空間の実験は、DCA-NASの一般化能力を示している。 ハードウェアNAS-Benchに対する我々のアプローチをさらに評価した結果、推論遅延の低いデバイス固有のアーキテクチャと最先端性能が発見された。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric [12.52012450501367]
  ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。 本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:58:40Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms [10.11289927237036]
  微分可能なニューラルアーキテクチャサーチ(NAS)は、競合するディープニューラルネットワーク(DNN)を自動設計する最も有力な代替品として進化してきた。 我々は、LightNASと呼ばれる軽量ハードウェア対応の差別化可能なNASフレームワークを導入し、ワンタイム検索によって必要なアーキテクチャを見つけ出そうとしている。 従来の最先端技術よりもLightNASの方が優れていることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-30T02:23:23Z)
• Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs [10.680700357879601]
  ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。 既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
  論文  参考訳（メタデータ） (2022-04-09T00:35:19Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。