論文の概要: Efficient Evaluation Methods for Neural Architecture Search: A Survey

• arxiv url: http://arxiv.org/abs/2301.05919v2
• Date: Wed, 09 Oct 2024 03:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:14.930608
• Title: Efficient Evaluation Methods for Neural Architecture Search: A Survey
• Title（参考訳）: ニューラルネットワーク探索のための効率的な評価手法:サーベイ
• Authors: Xiaotian Song, Xiangning Xie, Zeqiong Lv, Gary G. Yen, Weiping Ding, Jiancheng Lv, Yanan Sun,
• Abstract要約: 多くの効率的な評価手法 (EEM) が提案されている。 既存のEEMは、これらのEEMを構築するために訓練されたDNNの数に基づいて、4つのカテゴリに分けられる。 この話題における今後の研究の方向性を明らかにするための課題と課題について論じる。
• 参考スコア（独自算出の注目度）: 22.028534724133962
• License:
• Abstract: Neural Architecture Search (NAS) has received increasing attention because of its exceptional merits in automating the design of Deep Neural Network (DNN) architectures. However, the performance evaluation process, as a key part of NAS, often requires training a large number of DNNs. This inevitably makes NAS computationally expensive. In past years, many Efficient Evaluation Methods (EEMs) have been proposed to address this critical issue. In this paper, we comprehensively survey these EEMs published up to date, and provide a detailed analysis to motivate the further development of this research direction. Specifically, we divide the existing EEMs into four categories based on the number of DNNs trained for constructing these EEMs. The categorization can reflect the degree of efficiency in principle, which can in turn help quickly grasp the methodological features. In surveying each category, we further discuss the design principles and analyze the strengths and weaknesses to clarify the landscape of existing EEMs, thus making easily understanding the research trends of EEMs. Furthermore, we also discuss the current challenges and issues to identify future research directions in this emerging topic. In summary, this survey provides a convenient overview of EEM for interested users, and they can easily select the proper EEM method for the tasks at hand. In addition, the researchers in the NAS field could continue exploring the future directions suggested in the paper.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ (NAS) は、ディープ・ニューラル・ニューラルネットワーク (DNN) アーキテクチャの設計を自動化した際、例外的なメリットにより注目を集めている。 しかしながら、NASの重要な部分である性能評価プロセスは、しばしば多数のDNNを訓練する必要がある。 これは必然的にNASの計算コストを高くする。 近年,多くの効率的な評価手法 (EEM) が提案されている。 本稿では,これらの脳波を網羅的に調査し,研究方向性のさらなる発展を動機付けるための詳細な分析を行う。 具体的には、既存のEEMを、これらのEEMを構築するために訓練されたDNNの数に基づいて、4つのカテゴリに分けます。 この分類は、原理上の効率の度合いを反映し、その結果、方法論的特徴を素早く把握するのに役立つ。 それぞれのカテゴリを調査する際に、設計原則をさらに議論し、既存のEEMの展望を明らかにするために強みと弱みを分析し、EEMの研究動向を容易に理解する。 さらに,本話題における今後の研究方向性を明らかにするための課題と課題についても論じる。 まとめると、本調査は、興味のあるユーザに対してEEMの便利な概要を提供し、手元にあるタスクに対して適切なEEMメソッドを簡単に選択することができる。 さらに、NAS分野の研究者たちは、論文で示唆される今後の方向性を引き続き探求する可能性がある。

関連論文リスト

• A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
  MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-09-21T15:22:26Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
  水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。 多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
  論文  参考訳（メタデータ） (2024-05-30T04:46:40Z)
• EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems [82.76483989905961]
  現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。 我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。 EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• A Survey on Multi-Objective Neural Architecture Search [9.176056742068813]
  マルチオブジェクトニューラルアーキテクチャサーチ(MONAS)が注目されている。 本論では, モナスの分野における主要・最先端の著作の概要について述べる。
  論文  参考訳（メタデータ） (2023-07-18T09:42:51Z)
• A Survey on Evolutionary Neural Architecture Search [20.658525685384557]
  ニューラルアーキテクチャサーチ(英: Neural Architecture Search、NAS)は、アーキテクチャを自動的に設計できる技術の一種である。 ECベースのNASアルゴリズムは、最近多くの注目を集め、成功した。 本稿では,最新のECベースのNAS方式の200以上の論文を,コアコンポーネントに照らしてレビューする。
  論文  参考訳（メタデータ） (2020-08-25T11:00:46Z)
• Evaluating Efficient Performance Estimators of Neural Architectures [17.80483885195404]
  ワンショット推定器(OSEs)は、すべてのアーキテクチャ間で1つの"スーパーネット"のパラメータを共有することで、アーキテクチャのトレーニングコストを減らします。 近年,ゼロショット推定器 (ZSE) が提案され, アーキテクチャ評価コストの低減が図られている。 これらの推定器の高効率性にもかかわらず、そのような推定の質は十分に研究されていない。
  論文  参考訳（メタデータ） (2020-08-07T09:56:54Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)
• A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions [48.76705090826339]
  ニューラルネットワーク探索(NAS)は革命的アルゴリズムであり、関連する研究は複雑でリッチである。 まず、初期のNASアルゴリズムの特徴の概要から始め、これらの初期のNASアルゴリズムの問題を要約する。 さらに,これらの研究の詳細な分析,比較,要約を行う。
  論文  参考訳（メタデータ） (2020-06-01T13:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。