論文の概要: Combining Neural Architecture Search and Automatic Code Optimization: A Survey

• arxiv url: http://arxiv.org/abs/2408.04116v1
• Date: Wed, 7 Aug 2024 22:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 17:10:20.211392
• Title: Combining Neural Architecture Search and Automatic Code Optimization: A Survey
• Title（参考訳）: ニューラルネットワーク検索と自動コード最適化を組み合わせた調査
• Authors: Inas Bachiri, Hadjer Benmeziane, Smail Niar, Riyadh Baghdadi, Hamza Ouarnoughi, Abdelkrime Aries,
• Abstract要約: ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。 HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。 この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
• 参考スコア（独自算出の注目度）: 0.8796261172196743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning models have experienced exponential growth in complexity and resource demands in recent years. Accelerating these models for efficient execution on resource-constrained devices has become more crucial than ever. Two notable techniques employed to achieve this goal are Hardware-aware Neural Architecture Search (HW-NAS) and Automatic Code Optimization (ACO). HW-NAS automatically designs accurate yet hardware-friendly neural networks, while ACO involves searching for the best compiler optimizations to apply on neural networks for efficient mapping and inference on the target hardware. This survey explores recent works that combine these two techniques within a single framework. We present the fundamental principles of both domains and demonstrate their sub-optimality when performed independently. We then investigate their integration into a joint optimization process that we call Hardware Aware-Neural Architecture and Compiler Optimizations co-Search (NACOS).
• Abstract（参考訳）: 近年、ディープラーニングモデルは、複雑さとリソース要求の指数関数的な増加を経験している。 リソース制約のあるデバイス上での効率的な実行のためにこれらのモデルを加速することは、これまで以上に重要になっている。 この目標を達成するために使用される2つの注目すべきテクニックは、ハードウェア対応のニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)である。 HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計し、ACOはターゲットハードウェアの効率的なマッピングと推論のためにニューラルネットワークに適用する最適なコンパイラ最適化を探す。 この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調べる。 両ドメインの基本原理を提示し、独立して実行した場合にその準最適性を実証する。 次に、ハードウェア・アウェア・ニューラル・アーキテクチャーとコンパイラ・オプティマイズ・コサーチ(NACOS)と呼ばれる共同最適化プロセスへの統合について検討する。

関連論文リスト

• Neural Architecture Codesign for Fast Bragg Peak Analysis [1.7081438846690533]
  我々は,高速かつリアルタイムなブラッグピーク解析のためのニューラルネットワーク符号の合理化のための自動パイプラインを開発した。 我々の手法では、ハードウェアコストを含むこれらのモデルを強化するために、ニューラルアーキテクチャ検索とAutoMLを使用し、よりハードウェア効率の良いニューラルアーキテクチャの発見に繋がる。
  論文  参考訳（メタデータ） (2023-12-10T19:42:18Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique [7.497722345725035]
  本稿では,POPNASv2と呼ばれるパレート最適プログレッシブ・ニューラル・アーキテクチャ・サーチの新バージョンを提案する。 私たちのアプローチは、最初のバージョンを強化し、パフォーマンスを改善します。 POPNASv2は平均4倍の検索時間でPNASライクな性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-06T14:51:54Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• HSCoNAS: Hardware-Software Co-Design of Efficient DNNs via Neural Architecture Search [6.522258468923919]
  深層ニューラルネットワーク(DNN)の設計を自動化するため,新しいハードウェア対応ニューラルアーキテクチャサーチ(NAS)フレームワークであるHSCoNASを提案する。 この目的を達成するために,まず,ターゲットハードウェア上でのdnnのランタイム遅延を近似する効果的なハードウェア性能モデリング手法を提案する。 また, 動的チャネルスケーリングにより, 指定されたレイテンシとプログレッシブスペースの縮小下での精度を最大化し, 対象ハードウェアに対する検索空間を改良する手法を提案する。
  論文  参考訳（メタデータ） (2021-03-11T12:21:21Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。