論文の概要: The M-factor: A Novel Metric for Evaluating Neural Architecture Search in Resource-Constrained Environments

• arxiv url: http://arxiv.org/abs/2501.17361v1
• Date: Wed, 29 Jan 2025 00:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:54:29.327714
• Title: The M-factor: A Novel Metric for Evaluating Neural Architecture Search in Resource-Constrained Environments
• Title（参考訳）: M-factor:資源制約のある環境でのニューラルネットワーク探索を評価するための新しい指標
• Authors: Srikanth Thudumu, Hy Nguyen, Hung Du, Nhat Duong, Zafaryab Rasool, Rena Logothetis, Scott Barnett, Rajesh Vasa, Kon Mouzakis,
• Abstract要約: Neural Architecture Search (NAS)は、ディープニューラルネットワークの設計を自動化することを目的としている。 既存のNAS技術は、しばしば精度を最大化し、モデルの効率を無視することに焦点を当てる。 本稿ではモデル精度とサイズを組み合わせた新しい計量であるM因子を紹介する。
• 参考スコア（独自算出の注目度）: 1.6476451081237875
• License:
• Abstract: Neural Architecture Search (NAS) aims to automate the design of deep neural networks. However, existing NAS techniques often focus on maximising accuracy, neglecting model efficiency. This limitation restricts their use in resource-constrained environments like mobile devices and edge computing systems. Moreover, current evaluation metrics prioritise performance over efficiency, lacking a balanced approach for assessing architectures suitable for constrained scenarios. To address these challenges, this paper introduces the M-factor, a novel metric combining model accuracy and size. Four diverse NAS techniques are compared: Policy-Based Reinforcement Learning, Regularised Evolution, Tree-structured Parzen Estimator (TPE), and Multi-trial Random Search. These techniques represent different NAS paradigms, providing a comprehensive evaluation of the M-factor. The study analyses ResNet configurations on the CIFAR-10 dataset, with a search space of 19,683 configurations. Experiments reveal that Policy-Based Reinforcement Learning and Regularised Evolution achieved M-factor values of 0.84 and 0.82, respectively, while Multi-trial Random Search attained 0.75, and TPE reached 0.67. Policy-Based Reinforcement Learning exhibited performance changes after 39 trials, while Regularised Evolution optimised within 20 trials. The research investigates the optimisation dynamics and trade-offs between accuracy and model size for each strategy. Findings indicate that, in some cases, random search performed comparably to more complex algorithms when assessed using the M-factor. These results highlight how the M-factor addresses the limitations of existing metrics by guiding NAS towards balanced architectures, offering valuable insights for selecting strategies in scenarios requiring both performance and efficiency.
• Abstract（参考訳）: Neural Architecture Search (NAS)は、ディープニューラルネットワークの設計を自動化することを目的としている。 しかしながら、既存のNAS技術は、しばしば精度を最大化し、モデルの効率を無視することに重点を置いている。 この制限は、モバイルデバイスやエッジコンピューティングシステムのようなリソース制限された環境での使用を制限する。 さらに、現在の評価指標は効率よりもパフォーマンスを優先し、制約のあるシナリオに適したアーキテクチャを評価するためのバランスのとれたアプローチを欠いている。 これらの課題に対処するために、モデル精度とサイズを組み合わせた新しい計量であるM因子を提案する。 政策ベース強化学習、正規化進化、ツリー構造化パーゼン推定器(TPE)、マルチリアルランダム探索の4つのNAS技術を比較した。 これらの手法は異なるNASパラダイムを示し、M因子の包括的な評価を提供する。 この研究は、CIFAR-10データセット上のResNet構成を分析し、検索空間は19,683である。 実験の結果、ポリシーに基づく強化学習と正規化進化がそれぞれ0.84と0.82のM因子値を達成し、マルチリアルランダムサーチは0.75、TPEは0.67に達した。 ポリシーベースの強化学習は39のトライアル後にパフォーマンスの変更を示し、正規化進化は20のトライアルで最適化された。 本研究は,各戦略における精度とモデルサイズの間の最適化ダイナミクスとトレードオフについて検討する。 発見は、M因子を用いて評価された場合、ランダム検索がより複雑なアルゴリズムと相容れないことを示します。 これらの結果は、M要素がNASをバランスの取れたアーキテクチャへ導くことによって、既存のメトリクスの限界にどのように対処するかを強調し、パフォーマンスと効率の両方を必要とするシナリオで戦略を選択するための貴重な洞察を提供する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
  我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。 提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
  論文  参考訳（メタデータ） (2021-10-08T06:35:20Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural Architecture Search [15.454709248397208]
  本研究は,多様な設計目的の下で実現可能な深層モデルを見つける方法に焦点を当てる。 オンライン分類器を訓練し、候補と構築された参照アーキテクチャとの優位性関係を予測する。 さまざまな目的や制約の下で、2Mから6Mまでの異なるモデルサイズを持つ多数のニューラルアーキテクチャを見つけます。
  論文  参考訳（メタデータ） (2021-09-14T13:28:07Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。