論文の概要: Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity

• arxiv url: http://arxiv.org/abs/2404.12403v1
• Date: Mon, 15 Apr 2024 15:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 17:13:50.846700
• Title: Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity
• Title（参考訳）: ハードウェアコストの多様性を利用した多目的ハードウェア認識ニューラルアーキテクチャ探索
• Authors: Nilotpal Sinha, Peyman Rostami, Abd El Rahman Shabayek, Anis Kacem, Djamila Aouada,
• Abstract要約: ハードウェア対応のニューラルネットワーク探索アプローチ(HW-NAS)は、特定のターゲットハードウェアプラットフォームに特化して設計されたディープラーニングアーキテクチャの設計を自動化する。 これらの技術は、主に特定アーキテクチャの性能を評価するための高価なプロセスのために、かなりの計算資源を必要とする。 計算コストの低い単一ランでアーキテクチャのトレードオフセットを特定するために,MO-HDNASと呼ばれるHW-NAS問題に対処する多目的手法を提案する。
• 参考スコア（独自算出の注目度）: 12.52012450501367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hardware-aware Neural Architecture Search approaches (HW-NAS) automate the design of deep learning architectures, tailored specifically to a given target hardware platform. Yet, these techniques demand substantial computational resources, primarily due to the expensive process of assessing the performance of identified architectures. To alleviate this problem, a recent direction in the literature has employed representation similarity metric for efficiently evaluating architecture performance. Nonetheless, since it is inherently a single objective method, it requires multiple runs to identify the optimal architecture set satisfying the diverse hardware cost constraints, thereby increasing the search cost. Furthermore, simply converting the single objective into a multi-objective approach results in an under-explored architectural search space. In this study, we propose a Multi-Objective method to address the HW-NAS problem, called MO-HDNAS, to identify the trade-off set of architectures in a single run with low computational cost. This is achieved by optimizing three objectives: maximizing the representation similarity metric, minimizing hardware cost, and maximizing the hardware cost diversity. The third objective, i.e. hardware cost diversity, is used to facilitate a better exploration of the architecture search space. Experimental results demonstrate the effectiveness of our proposed method in efficiently addressing the HW-NAS problem across six edge devices for the image classification task.
• Abstract（参考訳）: ハードウェア対応のニューラルネットワーク探索(HW-NAS)アプローチは、特定のターゲットハードウェアプラットフォームに特化して設計されたディープラーニングアーキテクチャの設計を自動化する。 しかし、これらの技術は、主に特定アーキテクチャの性能を評価するための高価なプロセスのために、かなりの計算資源を必要とする。 この問題を軽減するため,最近の文献では表現類似度尺度を用いてアーキテクチャ性能を効率的に評価している。 しかしながら,本手法は本質的には単一目的の手法であるため,ハードウェアコストの制約を満たす最適なアーキテクチャセットを特定するために複数の実行を必要とするため,探索コストが増大する。 さらに、単一の目的を多目的のアプローチに変換するだけで、未探索のアーキテクチャ検索空間が得られる。 本研究では,MO-HDNASと呼ばれるHW-NAS問題に対処する多目的手法を提案する。 これは、表現類似度メトリックの最大化、ハードウェアコストの最小化、ハードウェアコストの多様性の最大化の3つの目的によって達成される。 第3の目的、すなわちハードウェアコストの多様性は、アーキテクチャ検索空間のより良い探索を容易にするために使用される。 画像分類タスクにおいて、6つのエッジデバイス間のHW-NAS問題に効率よく対処する上で,提案手法の有効性を実験的に示す。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Multi-Objective Neural Architecture Search for In-Memory Computing [0.5892638927736115]
  我々は、インメモリコンピューティングアーキテクチャに多様な機械学習(ML)タスクをデプロイする効率を高めるために、ニューラルネットワークサーチ(NAS)を採用している。 IMCアーキテクチャ展開のためのNASアプローチの評価は、3つの異なる画像分類データセットにまたがる。
  論文  参考訳（メタデータ） (2024-06-10T19:17:09Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric [12.52012450501367]
  ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。 本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:58:40Z)
• Pareto-aware Neural Architecture Generation for Diverse Computational Budgets [94.27982238384847]
  既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。 提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
  論文  参考訳（メタデータ） (2022-10-14T08:30:59Z)
• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
  既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-27T13:59:17Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
  資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
  論文  参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。