論文の概要: Efficient Model Performance Estimation via Feature Histories

• arxiv url: http://arxiv.org/abs/2103.04450v1
• Date: Sun, 7 Mar 2021 20:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 08:59:08.200661
• Title: Efficient Model Performance Estimation via Feature Histories
• Title（参考訳）: 特徴履歴による効率的なモデル性能推定
• Authors: Shengcao Cao, Xiaofang Wang, Kris Kitani
• Abstract要約: ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
• 参考スコア（独自算出の注目度）: 27.008927077173553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important step in the task of neural network design, such as hyper-parameter optimization (HPO) or neural architecture search (NAS), is the evaluation of a candidate model's performance. Given fixed computational resources, one can either invest more time training each model to obtain more accurate estimates of final performance, or spend more time exploring a greater variety of models in the configuration space. In this work, we aim to optimize this exploration-exploitation trade-off in the context of HPO and NAS for image classification by accurately approximating a model's maximal performance early in the training process. In contrast to recent accelerated NAS methods customized for certain search spaces, e.g., requiring the search space to be differentiable, our method is flexible and imposes almost no constraints on the search space. Our method uses the evolution history of features of a network during the early stages of training to build a proxy classifier that matches the peak performance of the network under consideration. We show that our method can be combined with multiple search algorithms to find better solutions to a wide range of tasks in HPO and NAS. Using a sampling-based search algorithm and parallel computing, our method can find an architecture which is better than DARTS and with an 80% reduction in wall-clock search time.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)やニューラルアーキテクチャサーチ(NAS)といったニューラルネットワーク設計の課題の重要なステップは、候補モデルの性能を評価することである。 一定の計算リソースがあれば、各モデルにより多くの時間を費やして最終的なパフォーマンスの正確な見積もりを得るか、設定スペースでより多様なモデルを探索するより多くの時間を費やすことができます。 本研究では、トレーニングプロセスの早期にモデルの最大性能を正確に近似することにより、画像分類のためのHPOとNASの文脈でこの探索-探索トレードオフを最適化することを目指しています。 特定の検索空間向けにカスタマイズされた最近の高速化NAS手法とは対照的に、例えば、検索空間の微分が要求される場合、我々の手法は柔軟であり、検索空間にほとんど制約を課さない。 本手法は,訓練の初期段階におけるネットワークの特徴の進化履歴を用いて,検討中のネットワークのピーク性能に一致するプロキシ分類器を構築する。 本手法は複数の探索アルゴリズムと組み合わせ、HPOやNASの幅広いタスクに対するより良いソリューションを見つけることができることを示す。 サンプリングに基づく検索アルゴリズムと並列計算を用いて,dartよりも優れたアーキテクチャを探索し,壁時間探索時間の80%削減を実現する。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique [7.497722345725035]
  本稿では,POPNASv2と呼ばれるパレート最適プログレッシブ・ニューラル・アーキテクチャ・サーチの新バージョンを提案する。 私たちのアプローチは、最初のバージョンを強化し、パフォーマンスを改善します。 POPNASv2は平均4倍の検索時間でPNASライクな性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-06T14:51:54Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• ViPNAS: Efficient Video Pose Estimation via Neural Architecture Search [94.90294600817215]
  高速なオンラインビデオポーズ推定のための空間的・時間的ネットワークに対する新しいニューラルネットワーク探索(NAS)手法(ViPNAS)を提案する。 空間レベルでは,ネットワーク深さ,幅,カーネルサイズ,グループ数,注目度などの5つの異なる次元の探索空間を慎重に設計する。 時間レベルでは、一連の時間的特徴融合から検索し、複数のビデオフレームの合計精度と速度を最適化する。
  論文  参考訳（メタデータ） (2021-05-21T06:36:40Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search [15.017964136568061]
  単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
  論文  参考訳（メタデータ） (2020-05-15T14:21:07Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。