論文の概要: Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2105.01015v1
• Date: Mon, 3 May 2021 17:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 17:06:50.381814
• Title: Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization
• Title（参考訳）: 多目的ジョイントニューラルアーキテクチャ探索とハイパーパラメータ最適化のためのベースラインのバッグ
• Authors: Julia Guerrero-Viu, Sven Hauns, Sergio Izquierdo, Guilherme Miotto, Simon Schrodi, Andre Biedenkapp, Thomas Elsken, Difan Deng, Marius Lindauer, Frank Hutter
• Abstract要約: ニューラルネットワークアーキテクチャ検索(NAS)とハイパーパラメータ最適化(HPO)により、ディープラーニングは非専門家にアクセスできます。 本稿では,複数の目的に対して,ニューラルネットワークとハイパーパラメータを共同で最適化する手法を提案する。 これらの方法は、マルチオブジェクトジョイントNAS + HPOの将来の研究のための単純なベースラインとして機能します。
• 参考スコア（独自算出の注目度）: 29.80410614305851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural architecture search (NAS) and hyperparameter optimization (HPO) make deep learning accessible to non-experts by automatically finding the architecture of the deep neural network to use and tuning the hyperparameters of the used training pipeline. While both NAS and HPO have been studied extensively in recent years, NAS methods typically assume fixed hyperparameters and vice versa - there exists little work on joint NAS + HPO. Furthermore, NAS has recently often been framed as a multi-objective optimization problem, in order to take, e.g., resource requirements into account. In this paper, we propose a set of methods that extend current approaches to jointly optimize neural architectures and hyperparameters with respect to multiple objectives. We hope that these methods will serve as simple baselines for future research on multi-objective joint NAS + HPO. To facilitate this, all our code is available at https://github.com/automl/multi-obj-baselines.
• Abstract（参考訳）: ニューラルネットワーク検索(nas)とハイパーパラメータ最適化(hpo)は、使用するトレーニングパイプラインのハイパーパラメータの使用とチューニングを行うディープニューラルネットワークのアーキテクチャを自動的に見つけて、非専門家にディープラーニングをアクセス可能にする。 NASとHPOはともに近年広く研究されているが、NAS法は通常、固定されたハイパーパラメータを仮定し、その逆を仮定する。 さらに、NASはリソース要求を考慮に入れるために、近年、多目的最適化問題としてフレーム化されていることが多い。 本稿では,ニューラルアーキテクチャとハイパーパラメータを協調的に最適化するための現在のアプローチを拡張する手法を提案する。 我々はこれらの手法が今後の多目的関節NAS+HPO研究のベースラインとなることを願っている。 これを容易にするため、すべてのコードはhttps://github.com/automl/multi-obj-baselinesで利用可能です。

関連論文リスト

• Efficient Multi-Objective Neural Architecture Search via Pareto Dominance-based Novelty Search [0.0]
  Neural Architecture Search (NAS)は、高性能なディープニューラルネットワークアーキテクチャの発見を自動化することを目的としている。 従来のNASアプローチは一般的に、興味深いネットワーク構成を含む可能性のあるアーキテクチャ検索空間の大部分を見下ろす特定のパフォーマンス指標(例えば予測精度)を最適化する。 本稿では,Multiple Training-Free Metrics (MTF-PDNS) を用いた多目的NASの新しい検索手法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T08:52:10Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• A Survey on Multi-Objective Neural Architecture Search [9.176056742068813]
  マルチオブジェクトニューラルアーキテクチャサーチ(MONAS)が注目されている。 本論では, モナスの分野における主要・最先端の著作の概要について述べる。
  論文  参考訳（メタデータ） (2023-07-18T09:42:51Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet [51.60655410423093]
  医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。 従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。 本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
  論文  参考訳（メタデータ） (2021-12-20T16:21:09Z)
• TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
  微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。 微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
  論文  参考訳（メタデータ） (2021-11-06T14:19:36Z)
• NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters [4.039245878626346]
  本稿ではNAS-HPO-Bench-IIと呼ぶ,ネットワーク接続の協調最適化とハイパーパラメータのトレーニングのためのベンチマークデータセットを提案する。 CIFAR-10データセットでトレーニングされた4Kセルベースの畳み込みニューラルネットワークアーキテクチャのパフォーマンスデータを,学習率とバッチサイズの設定で収集する。 我々は200エポックトレーニング後の精度を予測するサロゲートモデルを構築し、より長いトレーニングエポックのパフォーマンスデータを提供する。
  論文  参考訳（メタデータ） (2021-10-19T18:00:01Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。