論文の概要: A Survey of Deep Learning: From Activations to Transformers
- arxiv url: http://arxiv.org/abs/2302.00722v3
- Date: Sat, 10 Feb 2024 17:48:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 01:14:34.902176
- Title: A Survey of Deep Learning: From Activations to Transformers
- Title(参考訳): ディープラーニングに関するサーベイ:活性化からトランスフォーマーへ
- Authors: Johannes Schneider and Michalis Vlachos
- Abstract要約: ディープラーニングにおける最も重要で最近の研究の概要を包括的に紹介する。
この10年で成功したイノベーションの多くの主要な戦略をまとめたパターンを特定し、議論します。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
- 参考スコア(独自算出の注目度): 3.175481425273993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has made tremendous progress in the last decade. A key success
factor is the large amount of architectures, layers, objectives, and
optimization techniques. They include a myriad of variants related to
attention, normalization, skip connections, transformers and self-supervised
learning schemes -- to name a few. We provide a comprehensive overview of the
most important, recent works in these areas to those who already have a basic
understanding of deep learning. We hope that a holistic and unified treatment
of influential, recent works helps researchers to form new connections between
diverse areas of deep learning. We identify and discuss multiple patterns that
summarize the key strategies for many of the successful innovations over the
last decade as well as works that can be seen as rising stars. We also include
a discussion on recent commercially built, closed-source models such as
OpenAI's GPT-4 and Google's PaLM 2.
- Abstract(参考訳): ディープラーニングは過去10年間、大きな進歩を遂げてきた。
重要な成功要因は、大量のアーキテクチャ、レイヤ、目的、最適化技術である。
その中には、注意、正規化、スキップ接続、トランスフォーマー、自己教師付き学習スキームに関連する無数の変種が含まれている。
深層学習の基本的な理解をすでに持っている人に、これらの領域で最も重要な最近の研究の概観を提供する。
我々は、影響力のある、総合的で統一された治療が、研究者が様々な深層学習領域の間に新しいつながりを形成するのに役立つことを願っている。
私たちはこの10年で成功したイノベーションの多くの主要な戦略をまとめた複数のパターンを特定し、議論しています。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
関連論文リスト
- Federated Learning for Generalization, Robustness, Fairness: A Survey
and Benchmark [55.898771405172155]
フェデレートラーニングは、異なる当事者間のプライバシー保護コラボレーションのための有望なパラダイムとして登場した。
我々は,連合学習研究の重要かつ最近の展開を体系的に概観する。
論文 参考訳(メタデータ) (2023-11-12T06:32:30Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - A Review on Methods and Applications in Multimodal Deep Learning [8.152125331009389]
マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。
本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。
様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
論文 参考訳(メタデータ) (2022-02-18T13:50:44Z) - Deep Learning for Face Anti-Spoofing: A Survey [74.42603610773931]
対面防止(FAS)は、プレゼンテーションアタック(PA)から顔認識システムを保護する上で重要な役割を担っているため、近年注目を集めている。
論文 参考訳(メタデータ) (2021-06-28T19:12:00Z) - A Deep Learning Framework for Lifelong Machine Learning [6.662800021628275]
シンプルなながら強力な統合型ディープラーニングフレームワークを提案する。
当社のフレームワークは、これらのプロパティとアプローチのほぼすべてを1つの中央機構でサポートします。
この統一生涯学習フレームワークが、大規模な実験と人間の学習全般への新しい取り組みを刺激することを期待している。
論文 参考訳(メタデータ) (2021-05-01T03:43:25Z) - A Design Space Study for LISTA and Beyond [79.76740811464597]
近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。
本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。
スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
論文 参考訳(メタデータ) (2021-04-08T23:01:52Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-06-09T07:22:01Z) - Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。
まずメタラーニングの定義について議論し、関連する分野について位置づける。
そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文 参考訳(メタデータ) (2020-04-11T16:34:24Z) - A Survey of Deep Learning for Scientific Discovery [13.372738220280317]
私たちは、ディープラーニングにおけるコア問題における根本的なブレークスルーを、主にディープニューラルネットワークの進歩によって見てきた。
幅広い科学領域で収集されるデータの量は、サイズと複雑さの両方で劇的に増加しています。
これは、科学的な設定でディープラーニングを応用するための多くのエキサイティングな機会を示唆している。
論文 参考訳(メタデータ) (2020-03-26T06:16:08Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳(メタデータ) (2020-03-06T19:00:04Z) - Improving Deep Learning For Airbnb Search [5.479655981061806]
ディープラーニングの検索ランク付けへの応用は、Airbnbで最も影響力のあるプロダクト改善のひとつだ。
Aはアーキテクチャ、Bはバイアス、Cはコールドスタートです。
論文 参考訳(メタデータ) (2020-02-10T18:47:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。