論文の概要: SONATA: Self-adaptive Evolutionary Framework for Hardware-aware Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2402.13204v1
• Date: Tue, 20 Feb 2024 18:15:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 14:10:04.833954
• Title: SONATA: Self-adaptive Evolutionary Framework for Hardware-aware Neural Architecture Search
• Title（参考訳）: sonata: ハードウェアアウェアニューラルアーキテクチャ探索のための自己適応型進化フレームワーク
• Authors: Halima Bouzidi, Smail Niar, Hamza Ouarnoughi, El-Ghazali Talbi
• Abstract要約: HW-Aware Neural Architecture Search (HW-Aware NAS)は、NNの設計を自動化する魅力的な戦略である。 HW対応NASのための自己適応型進化アルゴリズムであるSONATAを提案する。 本手法は,NN設計パラメータの学習的重要性に導かれる適応的進化演算子を利用する。
• 参考スコア（独自算出の注目度）: 0.7646713951724011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Artificial Intelligence (AI), driven by Neural Networks (NN), demand innovative neural architecture designs, particularly within the constrained environments of Internet of Things (IoT) systems, to balance performance and efficiency. HW-aware Neural Architecture Search (HW-aware NAS) emerges as an attractive strategy to automate the design of NN using multi-objective optimization approaches, such as evolutionary algorithms. However, the intricate relationship between NN design parameters and HW-aware NAS optimization objectives remains an underexplored research area, overlooking opportunities to effectively leverage this knowledge to guide the search process accordingly. Furthermore, the large amount of evaluation data produced during the search holds untapped potential for refining the optimization strategy and improving the approximation of the Pareto front. Addressing these issues, we propose SONATA, a self-adaptive evolutionary algorithm for HW-aware NAS. Our method leverages adaptive evolutionary operators guided by the learned importance of NN design parameters. Specifically, through tree-based surrogate models and a Reinforcement Learning agent, we aspire to gather knowledge on 'How' and 'When' to evolve NN architectures. Comprehensive evaluations across various NAS search spaces and hardware devices on the ImageNet-1k dataset have shown the merit of SONATA with up to 0.25% improvement in accuracy and up to 2.42x gains in latency and energy. Our SONATA has seen up to sim$93.6% Pareto dominance over the native NSGA-II, further stipulating the importance of self-adaptive evolution operators in HW-aware NAS.
• Abstract（参考訳）: ニューラルネットワーク(NN)によって駆動される人工知能(AI)の最近の進歩は、特にIoT(Internet of Things)システムの制約された環境において、パフォーマンスと効率のバランスをとるために、革新的なニューラルネットワーク設計を要求する。 HW-aware Neural Architecture Search (HW-aware NAS)は、進化アルゴリズムのような多目的最適化アプローチを用いてNNの設計を自動化する魅力的な戦略として登場した。 しかし、nn設計パラメータとhwを意識したnas最適化目標との複雑な関係は未熟な研究領域であり、この知識を効果的に活用して検索プロセスを導く機会を見据えている。 さらに、探索中に生成された大量の評価データには、最適化戦略を洗練し、パレートフロントの近似を改善するための未解決のポテンシャルが保持される。 これらの問題に対処するため,HW対応NASのための自己適応型進化アルゴリズムであるSONATAを提案する。 本手法は,NN設計パラメータの学習的重要性に導かれる適応的進化演算子を利用する。 具体的には、木ベースのサロゲートモデルと強化学習エージェントを通じて、NNアーキテクチャを進化させるための'How'と'When'に関する知識を集めたいと思っています。 ImageNet-1kデータセット上の様々なNAS検索空間とハードウェアデバイスに対する総合的な評価では、SONATAの利点は最大で0.25%、レイテンシとエネルギの2.42倍向上している。 我々の SONATA は NSGA-II に対して sim$93.6% の Pareto 支配を示し、さらに HW 対応NAS における自己適応進化作用素の重要性を規定している。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Evolution and Efficiency in Neural Architecture Search: Bridging the Gap Between Expert Design and Automated Optimization [1.7385545432331702]
  本稿では,ニューラルネットワーク検索の概要について概説する。 手動設計から自動化された計算駆動アプローチへの進化を強調している。 医療画像や自然言語処理など、さまざまな分野の応用を強調している。
  論文  参考訳（メタデータ） (2024-02-11T18:27:29Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [67.25782152459851]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits [7.0895962209555465]
  once-For-All (OFA) は、容易に適応可能なモデルを生成する能力によって特徴づけられるエコフレンドリーなアルゴリズムである。 OFAは、アーリーエグジット、並列ブロック、高密度スキップ接続を含むことで、アーキテクチャの観点から改善されている。 OFAAv2は、Tiny ImageNetデータセットの精度をOFAのオリジナルバージョンと比較して最大12.07%改善している。
  論文  参考訳（メタデータ） (2023-02-03T17:53:40Z)
• HiveNAS: Neural Architecture Search using Artificial Bee Colony Optimization [0.0]
  本研究では,ニューラルネットワーク探索のための人工蜂コロニー最適化の実現可能性を評価する。 提案するフレームワークであるHiveNASは、最先端のSwarm IntelligenceベースのNASフレームワークを短時間で上回ります。
  論文  参考訳（メタデータ） (2022-11-18T14:11:47Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NASS: Optimizing Secure Inference via Neural Architecture Search [21.72469549507192]
  セキュア推論(SI)に特化して設計されたNNアーキテクチャを検索する統合フレームワークであるNASSを提案する。 CIFAR-10データセットでは,予測精度が81.6%から84.6%に向上し,推論ランタイムは2倍,通信帯域幅は1.9倍になった。
  論文  参考訳（メタデータ） (2020-01-30T06:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。