論文の概要: Lights and Shadows in Evolutionary Deep Learning: Taxonomy, Critical
Methodological Analysis, Cases of Study, Learned Lessons, Recommendations and
Challenges
- arxiv url: http://arxiv.org/abs/2008.03620v1
- Date: Sun, 9 Aug 2020 00:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 03:59:38.224693
- Title: Lights and Shadows in Evolutionary Deep Learning: Taxonomy, Critical
Methodological Analysis, Cases of Study, Learned Lessons, Recommendations and
Challenges
- Title（参考訳）: 進化的深層学習における光と影:分類学、批判的方法論分析、学習事例、学習教訓、勧告と課題
- Authors: Aritz D. Martinez, Javier Del Ser, Esther Villar-Rodriguez, Eneko
Osaba, Javier Poyatos, Siham Tabik, Daniel Molina, Francisco Herrera
- Abstract要約: バイオインスパイアされた最適化アルゴリズムとディープラーニングモデルの融合については、多くのことが述べられている。
3つの軸 – 最適化と分類,批判的分析,課題 – は,2つのテクノロジの合併というビジョンを概説している。
- 参考スコア（独自算出の注目度）: 15.954992915497874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Much has been said about the fusion of bio-inspired optimization algorithms
and Deep Learning models for several purposes: from the discovery of network
topologies and hyper-parametric configurations with improved performance for a
given task, to the optimization of the model's parameters as a replacement for
gradient-based solvers. Indeed, the literature is rich in proposals showcasing
the application of assorted nature-inspired approaches for these tasks. In this
work we comprehensively review and critically examine contributions made so far
based on three axes, each addressing a fundamental question in this research
avenue: a) optimization and taxonomy (Why?), including a historical
perspective, definitions of optimization problems in Deep Learning, and a
taxonomy associated with an in-depth analysis of the literature, b) critical
methodological analysis (How?), which together with two case studies, allows us
to address learned lessons and recommendations for good practices following the
analysis of the literature, and c) challenges and new directions of research
(What can be done, and what for?). In summary, three axes - optimization and
taxonomy, critical analysis, and challenges - which outline a complete vision
of a merger of two technologies drawing up an exciting future for this area of
fusion research.
- Abstract（参考訳）: バイオインスパイアされた最適化アルゴリズムとディープラーニングモデルの融合については、ネットワークトポロジの発見や、与えられたタスクのパフォーマンスを向上したハイパーパラメトリック構成、勾配に基づく解法に代わるモデルパラメータの最適化など、いくつかの目的で多くのことが述べられている。
実際、文学は、これらのタスクに自然にインスパイアされたアプローチの適用を示す提案に富んでいる。
この研究では、これまでの3つの軸に基づく貢献を包括的にレビューし、批判的に検討しています。
a) 歴史的視点,深層学習における最適化問題の定義,文献の深い分析に関連する分類を含む,最適化と分類法(なぜ?)
b) 批判的方法論分析(ハウ?)は、2つのケーススタディとともに、文献の分析の後に、学習した教訓と良い実践に対する勧告に対処することができる。
c) 課題と研究の新たな方向性(何ができるか、何のためにできるか)
まとめると、3つの軸(最適化と分類、批判的分析、挑戦)は、融合研究の領域におけるエキサイティングな未来を創り出す2つの技術の統合の完全なビジョンを概観している。
関連論文リスト
- A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization [11.072619355813496]
ディープラーニング(DL)における最適化手法の理論的基礎について概説する。
本稿では、一般的な勾配に基づく1次2階一般化法の理論解析を含む。
また、一般凸損失の解析についても論じ、最適化された最適点の発見を明示的に奨励する。
論文 参考訳（メタデータ） (2025-01-24T12:42:38Z) - Exploring the Technology Landscape through Topic Modeling, Expert Involvement, and Reinforcement Learning [0.48342038441006807]
本研究では、トピックモデリング、エキスパート知識入力、強化学習(RL)を組み合わせて、技術的変化の検出を強化する手法を提案する。
結果は、専門家の入力と一致する傾向を特定し、ランク付けし、追跡する手法の有効性を示す。
論文 参考訳（メタデータ） (2025-01-22T22:18:50Z) - The Paradox of Success in Evolutionary and Bioinspired Optimization: Revisiting Critical Issues, Key Studies, and Methodological Pathways [15.29595828816055]
進化的およびバイオインスパイアされた計算は、多様なアプリケーション領域にわたる複雑な最適化問題に効率的に対処するために重要である。
それらは大規模で複雑な探索空間における準最適解の発見に優れており、多くの分野において有意義である。
しかしながら、どちらの領域も、不十分なベンチマーク、問題固有のオーバーフィッティング、不十分な理論的根拠、そして生物学的メタファーによってのみ正当化された過剰な提案など、コアにおける課題に悩まされている。
論文 参考訳（メタデータ） (2025-01-13T17:37:37Z) - Inference Optimizations for Large Language Models: Effects, Challenges, and Practical Considerations [0.0]
大規模な言語モデルは自然言語処理においてユビキタスである。
本稿では,資源要件の低減と大規模言語モデルの圧縮に関する諸技術について概説する。
論文 参考訳（メタデータ） (2024-08-06T12:07:32Z) - Fine-Grained Zero-Shot Learning: Advances, Challenges, and Prospects [84.36935309169567]
ゼロショット学習(ZSL)における微粒化解析の最近の進歩を概観する。
まず、各カテゴリの詳細な分析を行い、既存の手法と手法の分類について述べる。
次に、ベンチマークを要約し、公開データセット、モデル、実装、およびライブラリとしての詳細について説明する。
論文 参考訳（メタデータ） (2024-01-31T11:51:24Z) - Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms [50.91348344666895]
進化的強化学習(ERL)は進化的アルゴリズム(EA)と強化学習(RL)を統合して最適化する。
本調査では,ERLの多様な研究分野について概観する。
論文 参考訳（メタデータ） (2024-01-22T14:06:37Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳（メタデータ） (2023-12-01T16:00:25Z) - A Survey of Contextual Optimization Methods for Decision Making under
Uncertainty [47.73071218563257]
この記事では、データからポリシーを学ぶための3つの主要なフレームワークを特定し、その強みと限界について論じる。
統一的な表記と用語の下で既存のモデルとメソッドを示し、これらを3つの主要なフレームワークに従って分類する。
論文 参考訳（メタデータ） (2023-06-17T15:21:02Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2023-02-11T03:35:13Z) - Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods [48.47413103662829]
自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
論文 参考訳（メタデータ） (2022-03-10T08:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。