論文の概要: A Survey on Multi-Objective Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2307.09099v1
- Date: Tue, 18 Jul 2023 09:42:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 15:33:43.099398
- Title: A Survey on Multi-Objective Neural Architecture Search
- Title(参考訳): 多目的ニューラルアーキテクチャ探索に関する調査
- Authors: Seyed Mahdi Shariatzadeh, Mahmood Fathy, Reza Berangi, Mohammad
Shahverdy
- Abstract要約: マルチオブジェクトニューラルアーキテクチャサーチ(MONAS)が注目されている。
本論では, モナスの分野における主要・最先端の著作の概要について述べる。
- 参考スコア(独自算出の注目度): 9.176056742068813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the expert-crafted neural architectures is increasing overtaken by
the utilization of neural architecture search (NAS) and automatic generation
(and tuning) of network structures which has a close relation to the
Hyperparameter Optimization and Auto Machine Learning (AutoML). After the
earlier NAS attempts to optimize only the prediction accuracy, Multi-Objective
Neural architecture Search (MONAS) has been attracting attentions which
considers more goals such as computational complexity, power consumption, and
size of the network for optimization, reaching a trade-off between the accuracy
and other features like the computational cost. In this paper, we present an
overview of principal and state-of-the-art works in the field of MONAS.
Starting from a well-categorized taxonomy and formulation for the NAS, we
address and correct some miscategorizations in previous surveys of the NAS
field. We also provide a list of all known objectives used and add a number of
new ones and elaborate their specifications. We have provides analyses about
the most important objectives and shown that the stochastic properties of some
the them should be differed from deterministic ones in the multi-objective
optimization procedure of NAS. We finalize this paper with a number of future
directions and topics in the field of MONAS.
- Abstract(参考訳): 近年,ハイパーパラメータ最適化とオート機械学習(automl)に密接な関係を持つニューラルネットワーク探索(nas)とネットワーク構造の自動生成(およびチューニング)の活用により,専門家によるニューラルアーキテクチャが追い越されている。
初期のnasによる予測精度のみの最適化の試みの後、多目的ニューラルネットワーク検索(monas)は、計算複雑性、消費電力、最適化のためのネットワークのサイズなど、より多くの目標を考慮し、精度と計算コストなどの他の機能とのトレードオフに到達した。
本稿では,モナスの分野における主要な作品と最先端の作品について概観する。
NAS分野の分類と定式化から始めて、NAS分野の以前の調査において、いくつかの誤分類に対処し、修正する。
また、使用中のすべての既知の目標のリストを提供し、新しいものをいくつか追加し、仕様を詳しく説明します。
我々は,最も重要な目的に関する分析を行い,それらの確率的性質はnasの多目的最適化手順において決定論的目的と異なるべきであることを示した。
本論文は,MONAS分野における今後の方向性と課題についてまとめる。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳(メタデータ) (2024-03-02T22:16:47Z) - Multi-objective Differentiable Neural Architecture Search [62.16997839075649]
本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。
提案手法は,定性的に異なる探索空間とデータセットをまたいだ既存のMOO NAS法より優れている。
論文 参考訳(メタデータ) (2024-02-28T10:09:04Z) - Surrogate-assisted Multi-objective Neural Architecture Search for
Real-time Semantic Segmentation [11.866947846619064]
ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。
セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。
提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
論文 参考訳(メタデータ) (2022-08-14T10:18:51Z) - Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。
ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。
NASはコンピュータビジョンの幅広い問題に適用されている。
論文 参考訳(メタデータ) (2022-02-15T08:06:50Z) - Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。
DNASを広告クリックスルー率(CTR)予測の問題に適用する。
我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
論文 参考訳(メタデータ) (2021-10-25T05:46:27Z) - Bag of Baselines for Multi-objective Joint Neural Architecture Search
and Hyperparameter Optimization [29.80410614305851]
ニューラルネットワークアーキテクチャ検索(NAS)とハイパーパラメータ最適化(HPO)により、ディープラーニングは非専門家にアクセスできます。
本稿では,複数の目的に対して,ニューラルネットワークとハイパーパラメータを共同で最適化する手法を提案する。
これらの方法は、マルチオブジェクトジョイントNAS + HPOの将来の研究のための単純なベースラインとして機能します。
論文 参考訳(メタデータ) (2021-05-03T17:04:56Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳(メタデータ) (2020-09-28T01:48:45Z) - BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである
提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。
また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
論文 参考訳(メタデータ) (2020-07-16T21:58:43Z) - NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化する
エンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
論文 参考訳(メタデータ) (2020-02-29T09:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。