論文の概要: FreeREA: Training-Free Evolution-based Architecture Search

• arxiv url: http://arxiv.org/abs/2207.05135v1
• Date: Fri, 17 Jun 2022 11:16:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-17 17:04:58.997997
• Title: FreeREA: Training-Free Evolution-based Architecture Search
• Title（参考訳）: FreeREA: 学習自由進化に基づくアーキテクチャ検索
• Authors: Niccol\`o Cavagnero, Luca Robbiano, Barbara Caputo and Giuseppe Averta
• Abstract要約: FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて行われ、i) FreeREAが検索時間の数分で非常に正確なモデルを提供できる最初の方法であることを実証した。
• 参考スコア（独自算出の注目度）: 17.202375422110553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decade, most research in Machine Learning contributed to the improvement of existing models, with the aim of increasing the performance of neural networks for the solution of a variety of different tasks. However, such advancements often come at the cost of an increase of model memory and computational requirements. This represents a significant limitation for the deployability of research output in realistic settings, where the cost, the energy consumption, and the complexity of the framework play a crucial role. To solve this issue, the designer should search for models that maximise the performance while limiting its footprint. Typical approaches to reach this goal rely either on manual procedures, which cannot guarantee the optimality of the final design, or upon Neural Architecture Search algorithms to automatise the process, at the expenses of extremely high computational time. This paper provides a solution for the fast identification of a neural network that maximises the model accuracy while preserving size and computational constraints typical of tiny devices. Our approach, named FreeREA, is a custom cell-based evolution NAS algorithm that exploits an optimised combination of training-free metrics to rank architectures during the search, thus without need of model training. Our experiments, carried out on the common benchmarks NAS-Bench-101 and NATS-Bench, demonstrate that i) FreeREA is the first method able to provide very accurate models in minutes of search time; ii) it outperforms State of the Art training-based and training-free techniques in all the datasets and benchmarks considered, and iii) it can easily generalise to constrained scenarios, representing a competitive solution for fast Neural Architecture Search in generic constrained applications.
• Abstract（参考訳）: 過去10年間、機械学習のほとんどの研究は、さまざまなタスクのソリューションのためにニューラルネットワークのパフォーマンスを向上させることを目的として、既存のモデルの改善に貢献した。 しかし、そのような進歩は、しばしばモデルメモリと計算要求の増加のコストがかかる。 これは、コスト、エネルギー消費、およびフレームワークの複雑さが重要な役割を果たす現実的な環境での、研究成果のデプロイ可能性に対する重要な制限である。 この問題を解決するためにデザイナは、フットプリントを制限しながらパフォーマンスを最大化するモデルを探す必要がある。 この目標を達成するための典型的なアプローチは、最終的な設計の最適性を保証できない手作業の手順や、極めて高い計算時間を犠牲にしてプロセスを自動化するニューラルネットワーク探索アルゴリズムに依存する。 本稿では,小型デバイスに典型的なサイズと計算制約を保ちながら,モデル精度を最大化するニューラルネットワークの高速同定方法を提案する。 当社のアプローチはFreeREAと名づけられた独自のセルベースの進化型NASアルゴリズムで,検索中にアーキテクチャをランク付けするためにトレーニング不要なメトリクスの最適化の組み合わせを利用する。 nas-bench-101 と nats-bench の共通ベンチマークで行った実験は i) FreeREAは,検索時間の数分で非常に正確なモデルを提供することができる最初の方法である。 二 検討されたすべてのデータセット及びベンチマークにおいて、技術訓練ベース及びトレーニングフリー技術の現状を上回っていること、及び iii) 制約付きシナリオに容易に一般化することができ、汎用的制約付きアプリケーションにおける高速ニューラルネットワーク探索の競合ソリューションを表している。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Neural Architecture Codesign for Fast Bragg Peak Analysis [1.7081438846690533]
  我々は,高速かつリアルタイムなブラッグピーク解析のためのニューラルネットワーク符号の合理化のための自動パイプラインを開発した。 我々の手法では、ハードウェアコストを含むこれらのモデルを強化するために、ニューラルアーキテクチャ検索とAutoMLを使用し、よりハードウェア効率の良いニューラルアーキテクチャの発見に繋がる。
  論文  参考訳（メタデータ） (2023-12-10T19:42:18Z)
• Entropic Score metric: Decoupling Topology and Size in Training-free NAS [18.804303642485895]
  本稿では,そのアクティベーションの集約的要素ワイドエントロピーを通じてモデル表現率を推定するために,Entropic Score という新しいトレーニング自由度指標を提案する。 LogSynflowと適切な組み合わせにより、モデルサイズを探索し、1GPU時間未満でエッジアプリケーション用の高性能ハイブリッドトランスフォーマーを完全に設計する能力が向上する。
  論文  参考訳（メタデータ） (2023-10-06T11:49:21Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Learning Where To Look -- Generative NAS is Surprisingly Efficient [11.83842808044211]
  本稿では,より有望な潜在部分空間からサンプルを生成することを反復的に学習する,代理予測器と組み合わせた生成モデルを提案する。 このアプローチは、クエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T16:27:11Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。