論文の概要: Efficient Multi-Objective Neural Architecture Search via Pareto Dominance-based Novelty Search

• arxiv url: http://arxiv.org/abs/2407.20656v1
• Date: Tue, 30 Jul 2024 08:52:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:49:53.098313
• Title: Efficient Multi-Objective Neural Architecture Search via Pareto Dominance-based Novelty Search
• Title（参考訳）: Pareto Dominance-based Novelty Searchによる多目的ニューラルアーキテクチャの効率的な探索
• Authors: An Vo, Ngoc Hoang Luong,
• Abstract要約: Neural Architecture Search (NAS)は、高性能なディープニューラルネットワークアーキテクチャの発見を自動化することを目的としている。 従来のNASアプローチは一般的に、興味深いネットワーク構成を含む可能性のあるアーキテクチャ検索空間の大部分を見下ろす特定のパフォーマンス指標(例えば予測精度)を最適化する。 本稿では,Multiple Training-Free Metrics (MTF-PDNS) を用いた多目的NASの新しい検索手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) aims to automate the discovery of high-performing deep neural network architectures. Traditional objective-based NAS approaches typically optimize a certain performance metric (e.g., prediction accuracy), overlooking large parts of the architecture search space that potentially contain interesting network configurations. Furthermore, objective-driven population-based metaheuristics in complex search spaces often quickly exhaust population diversity and succumb to premature convergence to local optima. This issue becomes more complicated in NAS when performance objectives do not fully align with the actual performance of the candidate architectures, as is often the case with training-free metrics. While training-free metrics have gained popularity for their rapid performance estimation of candidate architectures without incurring computation-heavy network training, their effective incorporation into NAS remains a challenge. This paper presents the Pareto Dominance-based Novelty Search for multi-objective NAS with Multiple Training-Free metrics (MTF-PDNS). Unlike conventional NAS methods that optimize explicit objectives, MTF-PDNS promotes population diversity by utilizing a novelty score calculated based on multiple training-free performance and complexity metrics, thereby yielding a broader exploration of the search space. Experimental results on standard NAS benchmark suites demonstrate that MTF-PDNS outperforms conventional methods driven by explicit objectives in terms of convergence speed, diversity maintenance, architecture transferability, and computational costs.
• Abstract（参考訳）: Neural Architecture Search (NAS)は、高性能なディープニューラルネットワークアーキテクチャの発見を自動化することを目的としている。 従来の客観的なNASアプローチは、一般的に、興味深いネットワーク構成を含む可能性のあるアーキテクチャ検索空間の大部分を見渡して、特定のパフォーマンスメトリック(例えば予測精度)を最適化する。 さらに、複雑な探索空間における客観的人口ベースメタヒューリスティックスは、しばしば人口多様性を急速に消耗させ、局所最適に早急に収束する。 この問題はNASにおいて、トレーニング不要なメトリクスの場合のように、パフォーマンス目標が候補アーキテクチャの実際のパフォーマンスと完全に一致していない場合にさらに複雑になる。 トレーニング不要なメトリクスは、計算量の多いネットワークトレーニングを伴わずに、候補アーキテクチャの高速な性能評価で人気を得ているが、NASへの効果的な組み込みは依然として課題である。 本稿では,多目的NAS(Multiple Training-Free Metrics:MTF-PDNS)を対象としたPareto Dominance-based Novelty Searchを提案する。 明示的な目的を最適化する従来のNAS手法とは異なり、MTF-PDNSは、複数のトレーニングなし性能と複雑性のメトリクスに基づいて計算された新規度スコアを利用して、人口の多様性を促進する。 標準NASベンチマークスイートの実験結果から,MTF-PDNSは収束速度,多様性維持,アーキテクチャ転送性,計算コストの観点から,従来手法よりも優れていた。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms [10.11289927237036]
  微分可能なニューラルアーキテクチャサーチ(NAS)は、競合するディープニューラルネットワーク(DNN)を自動設計する最も有力な代替品として進化してきた。 我々は、LightNASと呼ばれる軽量ハードウェア対応の差別化可能なNASフレームワークを導入し、ワンタイム検索によって必要なアーキテクチャを見つけ出そうとしている。 従来の最先端技術よりもLightNASの方が優れていることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-30T02:23:23Z)
• Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation [11.866947846619064]
  ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。 セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。 提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
  論文  参考訳（メタデータ） (2022-08-14T10:18:51Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization [29.80410614305851]
  ニューラルネットワークアーキテクチャ検索(NAS)とハイパーパラメータ最適化(HPO)により、ディープラーニングは非専門家にアクセスできます。 本稿では,複数の目的に対して,ニューラルネットワークとハイパーパラメータを共同で最適化する手法を提案する。 これらの方法は、マルチオブジェクトジョイントNAS + HPOの将来の研究のための単純なベースラインとして機能します。
  論文  参考訳（メタデータ） (2021-05-03T17:04:56Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。