論文の概要: A Survey of Deep Learning: From Activations to Transformers
- arxiv url: http://arxiv.org/abs/2302.00722v2
- Date: Wed, 9 Aug 2023 16:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 18:09:51.826747
- Title: A Survey of Deep Learning: From Activations to Transformers
- Title(参考訳): ディープラーニングに関するサーベイ:活性化からトランスフォーマーへ
- Authors: Johannes Schneider and Michalis Vlachos
- Abstract要約: この10年で成功したイノベーションの多くにとって、重要な戦略について論じる。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
- 参考スコア(独自算出の注目度): 3.6245632117657816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The past decade has witnessed remarkable advancements in deep learning, owing
to the emergence of various architectures, layers, objectives, and optimization
techniques. These consist of a multitude of variations of attention,
normalization, skip connections, transformer, and self-supervised learning
methods, among others. Our goal is to furnish a comprehensive survey of
significant recent contributions in these domains to individuals with a
fundamental grasp of deep learning. Our aspiration is that an integrated and
comprehensive approach of influential recent works will facilitate the
formation of new connections between different areas of deep learning. In our
discussion, we discuss multiple patterns that summarize the key strategies for
many of the successful innovations over the last decade. We also include a
discussion on recent commercially built, closed-source models such as OpenAI's
GPT-4 and Google's PaLM 2.
- Abstract(参考訳): 過去10年間、さまざまなアーキテクチャ、レイヤ、目的、最適化テクニックの出現により、ディープラーニングの顕著な進歩が見られた。
これらは、多種多様な注意、正規化、スキップ接続、トランスフォーマー、自己指導型学習方法などで構成されている。
私たちの目標は、ディープラーニングの基本的な理解を持つ個人に対する、これらのドメインにおける最近の重要な貢献に関する総合的な調査を提供することです。
我々の願望は、近年の影響力のある作品の統合的かつ包括的アプローチが、異なる深層学習領域間の新たなつながりの形成を促進することである。
議論では、過去10年間に成功したイノベーションの主要な戦略をまとめた複数のパターンについて論じます。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
関連論文リスト
- Federated Learning for Generalization, Robustness, Fairness: A Survey
and Benchmark [55.898771405172155]
フェデレートラーニングは、異なる当事者間のプライバシー保護コラボレーションのための有望なパラダイムとして登場した。
我々は,連合学習研究の重要かつ最近の展開を体系的に概観する。
論文 参考訳(メタデータ) (2023-11-12T06:32:30Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - A Review on Methods and Applications in Multimodal Deep Learning [8.152125331009389]
マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。
本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。
様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
論文 参考訳(メタデータ) (2022-02-18T13:50:44Z) - Deep Learning for Face Anti-Spoofing: A Survey [74.42603610773931]
対面防止(FAS)は、プレゼンテーションアタック(PA)から顔認識システムを保護する上で重要な役割を担っているため、近年注目を集めている。
論文 参考訳(メタデータ) (2021-06-28T19:12:00Z) - A Deep Learning Framework for Lifelong Machine Learning [6.662800021628275]
シンプルなながら強力な統合型ディープラーニングフレームワークを提案する。
当社のフレームワークは、これらのプロパティとアプローチのほぼすべてを1つの中央機構でサポートします。
この統一生涯学習フレームワークが、大規模な実験と人間の学習全般への新しい取り組みを刺激することを期待している。
論文 参考訳(メタデータ) (2021-05-01T03:43:25Z) - A Design Space Study for LISTA and Beyond [79.76740811464597]
近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。
本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。
スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
論文 参考訳(メタデータ) (2021-04-08T23:01:52Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-06-09T07:22:01Z) - Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。
まずメタラーニングの定義について議論し、関連する分野について位置づける。
そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文 参考訳(メタデータ) (2020-04-11T16:34:24Z) - A Survey of Deep Learning for Scientific Discovery [13.372738220280317]
私たちは、ディープラーニングにおけるコア問題における根本的なブレークスルーを、主にディープニューラルネットワークの進歩によって見てきた。
幅広い科学領域で収集されるデータの量は、サイズと複雑さの両方で劇的に増加しています。
これは、科学的な設定でディープラーニングを応用するための多くのエキサイティングな機会を示唆している。
論文 参考訳(メタデータ) (2020-03-26T06:16:08Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳(メタデータ) (2020-03-06T19:00:04Z) - Improving Deep Learning For Airbnb Search [5.479655981061806]
ディープラーニングの検索ランク付けへの応用は、Airbnbで最も影響力のあるプロダクト改善のひとつだ。
Aはアーキテクチャ、Bはバイアス、Cはコールドスタートです。
論文 参考訳(メタデータ) (2020-02-10T18:47:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。