論文の概要: Grassroots Operator Search for Model Edge Adaptation

• arxiv url: http://arxiv.org/abs/2309.11246v1
• Date: Wed, 20 Sep 2023 12:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 12:58:44.489881
• Title: Grassroots Operator Search for Model Edge Adaptation
• Title（参考訳）: モデルエッジ適応のための草の根演算子探索
• Authors: Hadjer Benmeziane, Kaoutar El Maghraoui, Hamza Ouarnoughi, Smail Niar
• Abstract要約: ハードウェア対応ニューラルアーキテクチャ(HW-NAS)は、効率的なディープラーニングアーキテクチャの設計にますます利用されている。 効率的な演算子置換を探索するために,Grassroots Operator Search (GOS) 手法を提案する。 提案手法は,2つのエッジデバイスにおいて,精度を保ちながら,最小2.2倍の高速化を実現した。
• 参考スコア（独自算出の注目度）: 2.1756721838833797
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hardware-aware Neural Architecture Search (HW-NAS) is increasingly being used to design efficient deep learning architectures. An efficient and flexible search space is crucial to the success of HW-NAS. Current approaches focus on designing a macro-architecture and searching for the architecture's hyperparameters based on a set of possible values. This approach is biased by the expertise of deep learning (DL) engineers and standard modeling approaches. In this paper, we present a Grassroots Operator Search (GOS) methodology. Our HW-NAS adapts a given model for edge devices by searching for efficient operator replacement. We express each operator as a set of mathematical instructions that capture its behavior. The mathematical instructions are then used as the basis for searching and selecting efficient replacement operators that maintain the accuracy of the original model while reducing computational complexity. Our approach is grassroots since it relies on the mathematical foundations to construct new and efficient operators for DL architectures. We demonstrate on various DL models, that our method consistently outperforms the original models on two edge devices, namely Redmi Note 7S and Raspberry Pi3, with a minimum of 2.2x speedup while maintaining high accuracy. Additionally, we showcase a use case of our GOS approach in pulse rate estimation on wristband devices, where we achieve state-of-the-art performance, while maintaining reduced computational complexity, demonstrating the effectiveness of our approach in practical applications.
• Abstract（参考訳）: ハードウェアアウェアニューラルアーキテクチャ検索(hw-nas)は、効率的なディープラーニングアーキテクチャを設計するためにますます使われている。 HW-NASの成功には、効率的で柔軟な検索空間が不可欠である。 現在のアプローチでは、マクロアーキテクチャの設計と、可能な一連の値に基づいてアーキテクチャのハイパーパラメータの探索に焦点を当てている。 このアプローチは、ディープラーニング(DL)エンジニアと標準モデリングアプローチの専門知識に偏っている。 本稿では,Grassroots Operator Search(GOS)手法を提案する。 我々のhw-nasは、効率的なオペレーター置換を探索することで、エッジデバイスに所定のモデルを適用する。 それぞれの演算子を,その振る舞いを捉える数学的命令の集合として表現する。 数学的命令は、計算の複雑さを低減しつつ元のモデルの精度を維持する効率的な置換演算子の探索と選択の基盤として使用される。 私たちのアプローチは草の根であり、dlアーキテクチャの新しい効率的な演算子を構築するための数学的基礎に依存しています。 様々なDLモデルについて,我々の手法が2つのエッジデバイス,すなわちRedmi Note 7SとRaspberry Pi3において,高い精度を維持しつつ,最低2.2倍のスピードアップを実現していることを示す。 さらに,バンドデバイス上でのパルスレート推定におけるGOSアプローチのユースケースとして,計算複雑性の低減を図り,実用的応用におけるアプローチの有効性を示すとともに,最先端の性能を実現する。

関連論文リスト

• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique [7.497722345725035]
  本稿では,POPNASv2と呼ばれるパレート最適プログレッシブ・ニューラル・アーキテクチャ・サーチの新バージョンを提案する。 私たちのアプローチは、最初のバージョンを強化し、パフォーマンスを改善します。 POPNASv2は平均4倍の検索時間でPNASライクな性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-06T14:51:54Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
  概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。 サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。 新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
  論文  参考訳（メタデータ） (2021-10-07T02:29:26Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。