論文の概要: Survey on Evolutionary Deep Learning: Principles, Algorithms,
Applications and Open Issues
- arxiv url: http://arxiv.org/abs/2208.10658v1
- Date: Tue, 23 Aug 2022 00:21:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 12:41:39.104351
- Title: Survey on Evolutionary Deep Learning: Principles, Algorithms,
Applications and Open Issues
- Title(参考訳): 進化的ディープラーニングに関するサーベイ:原則,アルゴリズム,応用,オープンイシュー
- Authors: Nan Li, Lianbo Ma, Guo Yu, Bing Xue, Mengjie Zhang, Yaochu Jin
- Abstract要約: 本稿では、自動機械学習(AutoML)の観点から進化的深層学習(EDL)を解析することを目的とする。
DLパイプラインによると、我々は、機能工学、モデル生成、モデル展開から新しい分類法によるモデル展開まで、EDL手法を体系的に導入する。
主要なアプリケーション、オープンイシュー、将来の研究の有望なラインが提案されている。
- 参考スコア(独自算出の注目度): 14.215709447801885
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Over recent years, there has been a rapid development of deep learning (DL)
in both industry and academia fields. However, finding the optimal
hyperparameters of a DL model often needs high computational cost and human
expertise. To mitigate the above issue, evolutionary computation (EC) as a
powerful heuristic search approach has shown significant merits in the
automated design of DL models, so-called evolutionary deep learning (EDL). This
paper aims to analyze EDL from the perspective of automated machine learning
(AutoML). Specifically, we firstly illuminate EDL from machine learning and EC
and regard EDL as an optimization problem. According to the DL pipeline, we
systematically introduce EDL methods ranging from feature engineering, model
generation, to model deployment with a new taxonomy (i.e., what and how to
evolve/optimize), and focus on the discussions of solution representation and
search paradigm in handling the optimization problem by EC. Finally, key
applications, open issues and potentially promising lines of future research
are suggested. This survey has reviewed recent developments of EDL and offers
insightful guidelines for the development of EDL.
- Abstract(参考訳): 近年,産学両分野において,ディープラーニング(DL)の急速な発展が進んでいる。
しかし、dlモデルの最適なハイパーパラメータを見つけるには、高い計算コストと人間の専門知識が必要である。
上記の問題を緩和するため、強力なヒューリスティック探索アプローチとしての進化的計算(ec)は、進化的ディープラーニング(edl)と呼ばれるdlモデルの自動設計において大きなメリットを示している。
本稿では,自動機械学習(AutoML)の観点からEDLを分析することを目的とする。
具体的には、まず、機械学習とECからEDLを照らし、EDLを最適化問題とみなす。
dlパイプラインによると、新しい分類法(すなわち、進化/最適化の方法と方法)を用いて、機能工学からモデル生成、モデル展開まで、edlメソッドを体系的に導入し、ecによる最適化問題を扱うためのソリューション表現と探索パラダイムの議論に焦点を当てている。
最後に、主要なアプリケーション、オープンイシュー、そして将来の研究の有望なラインが提案されている。
本調査は最近のEDLの発展を概観し,EDL開発のための洞察に富んだガイドラインを提供する。
関連論文リスト
- Training Machine Learning models at the Edge: A Survey [2.8449839307925955]
この調査はエッジ学習(EL)、特にエッジでの機械学習モデルトレーニングの最適化に重点を置いている。
目的は、ELにおける多様なアプローチや方法論を包括的に探求し、既存の知識を合成し、課題を特定し、将来の動向を明らかにすることである。
この調査はさらに、エッジ学習のためにMLを最適化するために使用されるテクニックを比較するためのガイドラインと、ELで利用可能なさまざまなフレームワーク、ライブラリ、シミュレーションツールの探索を提供する。
論文 参考訳(メタデータ) (2024-03-05T03:18:43Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Machine Unlearning of Pre-trained Large Language Models [18.278849670377816]
本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。
我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
論文 参考訳(メタデータ) (2024-02-23T07:43:26Z) - Towards Efficient Generative Large Language Model Serving: A Survey from
Algorithms to Systems [14.355768064425598]
生成型大規模言語モデル(LLM)が最前線に立ち、データとのインタラクション方法に革命をもたらします。
しかし、これらのモデルをデプロイする際の計算強度とメモリ消費は、効率性の観点から大きな課題を呈している。
本研究は,機械学習システム(MLSys)研究の観点から,効率的なLCM提供手法の必要性について考察する。
論文 参考訳(メタデータ) (2023-12-23T11:57:53Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [56.00281164118548]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳(メタデータ) (2023-12-01T16:00:25Z) - A Survey of Serverless Machine Learning Model Inference [0.0]
ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。
本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
論文 参考訳(メタデータ) (2023-11-22T18:46:05Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳(メタデータ) (2023-02-11T03:35:13Z) - A Survey of Large-Scale Deep Learning Serving System Optimization:
Challenges and Opportunities [24.38071862662089]
サーベイは、大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し、分類することを目的としている。
ディープラーニング(DL)モデルは、ビジョン、言語、医療、商業広告、エンターテイメントなど、多くのアプリケーション領域で優れたパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2021-11-28T22:14:10Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。