論文の概要: A Decade of Deep Learning: A Survey on The Magnificent Seven
- arxiv url: http://arxiv.org/abs/2412.16188v1
- Date: Fri, 13 Dec 2024 17:55:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-29 08:00:11.326606
- Title: A Decade of Deep Learning: A Survey on The Magnificent Seven
- Title（参考訳）: ディープラーニングの10年 - 重要7つの調査
- Authors: Dilshod Azizov, Muhammad Arslan Manzoor, Velibor Bojkovic, Yingxu Wang, Zixiao Wang, Zangir Iklassov, Kailong Zhao, Liang Li, Siwei Liu, Yu Zhong, Wei Liu, Shangsong Liang,
- Abstract要約: ディープラーニングは、過去10年間に人工知能の風景を根本的に変えてきた。
本稿では,この分野の広範な調査から選択した,最も影響力のあるディープラーニングアルゴリズムについて概観する。
本稿では,残差ネットワーク,トランスフォーマー,ジェネレーティブ・アドバーサリアル・ネットワーク,変分オートエンコーダ,グラフニューラルネットワーク,コントラスト言語-画像事前学習,拡散モデルなどの重要なアーキテクチャについて論じる。
- 参考スコア（独自算出の注目度）: 19.444198085817543
- License:
- Abstract: Deep learning has fundamentally reshaped the landscape of artificial intelligence over the past decade, enabling remarkable achievements across diverse domains. At the heart of these developments lie multi-layered neural network architectures that excel at automatic feature extraction, leading to significant improvements in machine learning tasks. To demystify these advances and offer accessible guidance, we present a comprehensive overview of the most influential deep learning algorithms selected through a broad-based survey of the field. Our discussion centers on pivotal architectures, including Residual Networks, Transformers, Generative Adversarial Networks, Variational Autoencoders, Graph Neural Networks, Contrastive Language-Image Pre-training, and Diffusion models. We detail their historical context, highlight their mathematical foundations and algorithmic principles, and examine subsequent variants, extensions, and practical considerations such as training methodologies, normalization techniques, and learning rate schedules. Beyond historical and technical insights, we also address their applications, challenges, and potential research directions. This survey aims to serve as a practical manual for both newcomers seeking an entry point into cutting-edge deep learning methods and experienced researchers transitioning into this rapidly evolving domain.
- Abstract（参考訳）: ディープラーニングは、過去10年間に人工知能の風景を根本的に変え、さまざまな領域で素晴らしい成果を上げてきた。
これらの開発の中心には、自動特徴抽出に優れたマルチレイヤニューラルネットワークアーキテクチャがあり、機械学習タスクの大幅な改善につながっている。
これらの進歩を実証し、アクセス可能なガイダンスを提供するために、この分野の広範囲にわたる調査から選択された最も影響力のあるディープラーニングアルゴリズムの概要を概観する。
本稿では,残差ネットワーク,トランスフォーマー,ジェネレーティブ・アドバーサリアル・ネットワーク,変分オートエンコーダ,グラフニューラルネットワーク,コントラスト言語-画像事前学習,拡散モデルなどの重要なアーキテクチャについて論じる。
それらの歴史的文脈を詳述し、数学的基礎とアルゴリズムの原理を強調し、その後の変種、拡張、訓練方法論、正規化技術、学習率スケジュールなどの実践的考察を考察する。
歴史的および技術的な洞察以外にも、それらの応用、課題、潜在的研究の方向性にも対処しています。
この調査は、最先端のディープラーニング手法への参入点を求める新入生と、この急速に進化する領域に移行した経験者の両方にとって、実践的なマニュアルとして機能することを目的としている。
関連論文リスト
- A Survey on State-of-the-art Deep Learning Applications and Challenges [0.0]
ディープラーニングモデルの構築は、アルゴリズムの複雑さと現実世界の問題の動的な性質のため、難しい。
本研究の目的は,コンピュータビジョン,自然言語処理,時系列解析,広範コンピューティングにおける最先端のディープラーニングモデルを網羅的にレビューすることである。
論文 参考訳（メタデータ） (2024-03-26T10:10:53Z) - A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond [84.95530356322621]
この調査は、コードインテリジェンスの発展に関する体系的なレビューを示す。
50以上の代表モデルとその変種、20以上のタスクのカテゴリ、および680以上の関連する広範な研究をカバーしている。
発達軌道の考察に基づいて、コードインテリジェンスとより広範なマシンインテリジェンスとの間の新たな相乗効果について検討する。
論文 参考訳（メタデータ） (2024-03-21T08:54:56Z) - Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳（メタデータ） (2023-12-31T12:03:21Z) - When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。
継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。
本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
論文 参考訳（メタデータ） (2023-11-09T09:49:50Z) - A Survey on Knowledge Editing of Neural Networks [43.813073385305806]
最大の人工ニューラルネットワークでさえ間違いを犯し、世界が時間とともに進むにつれて、一度修正された予測が無効になる可能性がある。
知識編集は、訓練済みのターゲットモデルに対する信頼性、データ効率、迅速な変更の実現を目的とした、新しい研究分野として浮上している。
まず、ニューラルネットワークの編集の問題を紹介し、それを共通のフレームワークで形式化し、継続的学習のような悪名高い研究分野と区別する。
論文 参考訳（メタデータ） (2023-10-30T16:29:47Z) - Deep representation learning: Fundamentals, Perspectives, Applications,
and Open Challenges [3.9675935847246677]
本稿では,表現の学習過程における原則と発展について論じる。
各フレームワークやモデルについて、主要な問題とオープンな課題、および利点について検討する。
論文 参考訳（メタデータ） (2022-11-27T05:37:00Z) - Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。
ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。
NASはコンピュータビジョンの幅広い問題に適用されている。
論文 参考訳（メタデータ） (2022-02-15T08:06:50Z) - Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。
本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。
我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文 参考訳（メタデータ） (2022-01-15T15:03:17Z) - A Comprehensive Survey on Community Detection with Deep Learning [93.40332347374712]
コミュニティは、ネットワーク内の他のコミュニティと異なるメンバーの特徴と接続を明らかにする。
この調査は、最先端の手法の様々なカテゴリをカバーする新しい分類法を考案し、提案する。
ディープニューラルネットワーク(Deep Neural Network)は、畳み込みネットワーク(convolutional network)、グラフアテンションネットワーク( graph attention network)、生成的敵ネットワーク(generative adversarial network)、オートエンコーダ(autoencoder)に分けられる。
論文 参考訳（メタデータ） (2021-05-26T14:37:07Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳（メタデータ） (2020-03-06T19:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。