論文の概要: A Survey of Deep Learning: From Activations to Transformers
- arxiv url: http://arxiv.org/abs/2302.00722v3
- Date: Sat, 10 Feb 2024 17:48:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 01:14:34.902176
- Title: A Survey of Deep Learning: From Activations to Transformers
- Title(参考訳): ディープラーニングに関するサーベイ:活性化からトランスフォーマーへ
- Authors: Johannes Schneider and Michalis Vlachos
- Abstract要約: ディープラーニングにおける最も重要で最近の研究の概要を包括的に紹介する。
この10年で成功したイノベーションの多くの主要な戦略をまとめたパターンを特定し、議論します。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
- 参考スコア(独自算出の注目度): 3.175481425273993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has made tremendous progress in the last decade. A key success
factor is the large amount of architectures, layers, objectives, and
optimization techniques. They include a myriad of variants related to
attention, normalization, skip connections, transformers and self-supervised
learning schemes -- to name a few. We provide a comprehensive overview of the
most important, recent works in these areas to those who already have a basic
understanding of deep learning. We hope that a holistic and unified treatment
of influential, recent works helps researchers to form new connections between
diverse areas of deep learning. We identify and discuss multiple patterns that
summarize the key strategies for many of the successful innovations over the
last decade as well as works that can be seen as rising stars. We also include
a discussion on recent commercially built, closed-source models such as
OpenAI's GPT-4 and Google's PaLM 2.
- Abstract(参考訳): ディープラーニングは過去10年間、大きな進歩を遂げてきた。
重要な成功要因は、大量のアーキテクチャ、レイヤ、目的、最適化技術である。
その中には、注意、正規化、スキップ接続、トランスフォーマー、自己教師付き学習スキームに関連する無数の変種が含まれている。
深層学習の基本的な理解をすでに持っている人に、これらの領域で最も重要な最近の研究の概観を提供する。
我々は、影響力のある、総合的で統一された治療が、研究者が様々な深層学習領域の間に新しいつながりを形成するのに役立つことを願っている。
私たちはこの10年で成功したイノベーションの多くの主要な戦略をまとめた複数のパターンを特定し、議論しています。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
関連論文リスト
- O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。
我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。
本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
論文 参考訳(メタデータ) (2024-10-08T15:13:01Z) - Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
大きな言語モデル(LLM)は、非常に強力な能力を示す。
成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。
選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
論文 参考訳(メタデータ) (2024-09-04T15:11:55Z) - What comes after transformers? -- A selective survey connecting ideas in deep learning [1.8592384822257952]
2017年以降、トランスフォーマーは人工知能のデファクトスタンダードモデルとなっている。
研究者にとって、こうした発展をより広いレベルで追跡することは困難である。
深層学習の基本的な理解をすでに持っている人たちに対して、これらの領域における多くの重要かつ最近の研究の概要を包括的に紹介する。
論文 参考訳(メタデータ) (2024-08-01T08:50:25Z) - A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。
汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。
VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
論文 参考訳(メタデータ) (2024-05-23T01:43:54Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - A Review on Methods and Applications in Multimodal Deep Learning [8.152125331009389]
マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。
本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。
様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
論文 参考訳(メタデータ) (2022-02-18T13:50:44Z) - Deep Learning for Face Anti-Spoofing: A Survey [74.42603610773931]
対面防止(FAS)は、プレゼンテーションアタック(PA)から顔認識システムを保護する上で重要な役割を担っているため、近年注目を集めている。
論文 参考訳(メタデータ) (2021-06-28T19:12:00Z) - A Deep Learning Framework for Lifelong Machine Learning [6.662800021628275]
シンプルなながら強力な統合型ディープラーニングフレームワークを提案する。
当社のフレームワークは、これらのプロパティとアプローチのほぼすべてを1つの中央機構でサポートします。
この統一生涯学習フレームワークが、大規模な実験と人間の学習全般への新しい取り組みを刺激することを期待している。
論文 参考訳(メタデータ) (2021-05-01T03:43:25Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-06-09T07:22:01Z) - Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。
まずメタラーニングの定義について議論し、関連する分野について位置づける。
そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文 参考訳(メタデータ) (2020-04-11T16:34:24Z) - A Survey of Deep Learning for Scientific Discovery [13.372738220280317]
私たちは、ディープラーニングにおけるコア問題における根本的なブレークスルーを、主にディープニューラルネットワークの進歩によって見てきた。
幅広い科学領域で収集されるデータの量は、サイズと複雑さの両方で劇的に増加しています。
これは、科学的な設定でディープラーニングを応用するための多くのエキサイティングな機会を示唆している。
論文 参考訳(メタデータ) (2020-03-26T06:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。