Fugu-MT 論文翻訳(概要): Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric

論文の概要: Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric

arxiv url: http://arxiv.org/abs/2311.03923v1
Date: Tue, 7 Nov 2023 11:58:40 GMT
ステータス: 処理完了
システム内更新日: 2023-11-08 15:49:22.527528
Title: Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric
Title（参考訳）: 表現類似度を用いたハードウェア・アウェア進化型ニューラルネットワーク探索
Authors: Nilotpal Sinha, Abd El Rahman Shabayek, Anis Kacem, Peyman Rostami, Carl Shneider, Djamila Aouada
Abstract要約: ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
参考スコア（独自算出の注目度）: 12.52012450501367
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hardware-aware Neural Architecture Search (HW-NAS) is a technique used to automatically design the architecture of a neural network for a specific task and target hardware. However, evaluating the performance of candidate architectures is a key challenge in HW-NAS, as it requires significant computational resources. To address this challenge, we propose an efficient hardware-aware evolution-based NAS approach called HW-EvRSNAS. Our approach re-frames the neural architecture search problem as finding an architecture with performance similar to that of a reference model for a target hardware, while adhering to a cost constraint for that hardware. This is achieved through a representation similarity metric known as Representation Mutual Information (RMI) employed as a proxy performance evaluator. It measures the mutual information between the hidden layer representations of a reference model and those of sampled architectures using a single training batch. We also use a penalty term that penalizes the search process in proportion to how far an architecture's hardware cost is from the desired hardware cost threshold. This resulted in a significantly reduced search time compared to the literature that reached up to 8000x speedups resulting in lower CO2 emissions. The proposed approach is evaluated on two different search spaces while using lower computational resources. Furthermore, our approach is thoroughly examined on six different edge devices under various hardware cost constraints.
Abstract（参考訳）: ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。しかし,HW-NASでは重要な計算資源を必要とするため,候補アーキテクチャの性能評価が重要な課題である。この課題に対処するために,HW-EvRSNASと呼ばれるハードウェア対応進化型NASアプローチを提案する。当社のアプローチでは,ニューラルネットワークの探索問題を,対象ハードウェアの参照モデルに類似した性能を持つアーキテクチャとして再設計し,そのハードウェアのコスト制約に固執する。これはRepresentation Mutual Information (RMI) として知られる表現類似度測定によって達成される。単一のトレーニングバッチを使用して、参照モデルの隠されたレイヤ表現とサンプルアーキテクチャの相互情報を計測する。また,アーキテクチャのハードウェアコストが所望のハードウェアコスト閾値からどの程度離れているかに比例して検索プロセスをペナルティ化するペナルティ用語を用いる。これにより、CO2排出量の減少につながる8000倍のスピードアップに達する文献と比較して、探索時間が大幅に短縮された。提案手法は,より低い計算資源を用いて2つの異なる探索空間で評価する。さらに,様々なハードウェアコスト制約下で6種類のエッジデバイスについて徹底的に検討した。

関連論文リスト

Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity [12.52012450501367]
ハードウェア対応のニューラルネットワーク探索アプローチ(HW-NAS)は、特定のターゲットハードウェアプラットフォームに特化して設計されたディープラーニングアーキテクチャの設計を自動化する。これらの技術は、主に特定アーキテクチャの性能を評価するための高価なプロセスのために、かなりの計算資源を必要とする。計算コストの低い単一ランでアーキテクチャのトレードオフセットを特定するために,MO-HDNASと呼ばれるHW-NAS問題に対処する多目的手法を提案する。
論文参考訳（メタデータ） (2024-04-15T15:32:58Z)
DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文参考訳（メタデータ） (2024-03-02T22:16:47Z)
Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
論文参考訳（メタデータ） (2023-07-10T09:52:28Z)
NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文参考訳（メタデータ） (2021-10-24T12:20:04Z)
ISyNet: Convolutional Neural Networks design for AI accelerator [0.0]
現在の最先端アーキテクチャは、モデル複雑さを考慮して、ニューラルアーキテクチャサーチ(NAS)によって発見されている。本稿では,ニューラルネットワーク探索空間のハードウェア効率の指標として,行列効率測定(MEM),ハードウェア効率の高い演算からなる探索空間,レイテンシを考慮したスケーリング手法を提案する。我々は、ImageNet上のNPUデバイスの設計アーキテクチャと、下流の分類および検出タスクの一般化能力の利点を示す。
論文参考訳（メタデータ） (2021-09-04T20:57:05Z)
Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
論文参考訳（メタデータ） (2021-03-23T13:27:24Z)
Generalized Latency Performance Estimation for Once-For-All Neural Architecture Search [0.0]
特定のハードウェアとNAS検索空間で訓練されたベースモデルを用いた微調整を含む2つの汎用性戦略を紹介します。 ProxylessNASに比べて50%以上低いRMSE損失を達成できる待ち時間予測モデル群を提供する。
論文参考訳（メタデータ） (2021-01-04T00:48:09Z)
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-10-13T04:34:24Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)
Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文参考訳（メタデータ） (2020-04-23T14:16:39Z)
RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
論文参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。