論文の概要: A Survey of Deep Learning: From Activations to Transformers
- arxiv url: http://arxiv.org/abs/2302.00722v2
- Date: Wed, 9 Aug 2023 16:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 18:09:51.826747
- Title: A Survey of Deep Learning: From Activations to Transformers
- Title（参考訳）: ディープラーニングに関するサーベイ:活性化からトランスフォーマーへ
- Authors: Johannes Schneider and Michalis Vlachos
- Abstract要約: この10年で成功したイノベーションの多くにとって、重要な戦略について論じる。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
- 参考スコア（独自算出の注目度）: 3.6245632117657816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The past decade has witnessed remarkable advancements in deep learning, owing
to the emergence of various architectures, layers, objectives, and optimization
techniques. These consist of a multitude of variations of attention,
normalization, skip connections, transformer, and self-supervised learning
methods, among others. Our goal is to furnish a comprehensive survey of
significant recent contributions in these domains to individuals with a
fundamental grasp of deep learning. Our aspiration is that an integrated and
comprehensive approach of influential recent works will facilitate the
formation of new connections between different areas of deep learning. In our
discussion, we discuss multiple patterns that summarize the key strategies for
many of the successful innovations over the last decade. We also include a
discussion on recent commercially built, closed-source models such as OpenAI's
GPT-4 and Google's PaLM 2.
- Abstract（参考訳）: 過去10年間、さまざまなアーキテクチャ、レイヤ、目的、最適化テクニックの出現により、ディープラーニングの顕著な進歩が見られた。
これらは、多種多様な注意、正規化、スキップ接続、トランスフォーマー、自己指導型学習方法などで構成されている。
私たちの目標は、ディープラーニングの基本的な理解を持つ個人に対する、これらのドメインにおける最近の重要な貢献に関する総合的な調査を提供することです。
我々の願望は、近年の影響力のある作品の統合的かつ包括的アプローチが、異なる深層学習領域間の新たなつながりの形成を促進することである。
議論では、過去10年間に成功したイノベーションの主要な戦略をまとめた複数のパターンについて論じます。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
関連論文リスト
- O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。
我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。
本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-08T15:13:01Z) - Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
大きな言語モデル(LLM)は、非常に強力な能力を示す。
成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。
選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
論文 参考訳（メタデータ） (2024-09-04T15:11:55Z) - What comes after transformers? -- A selective survey connecting ideas in deep learning [1.8592384822257952]
2017年以降、トランスフォーマーは人工知能のデファクトスタンダードモデルとなっている。
研究者にとって、こうした発展をより広いレベルで追跡することは困難である。
深層学習の基本的な理解をすでに持っている人たちに対して、これらの領域における多くの重要かつ最近の研究の概要を包括的に紹介する。
論文 参考訳（メタデータ） (2024-08-01T08:50:25Z) - A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。
汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。
VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
論文 参考訳（メタデータ） (2024-05-23T01:43:54Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - A Review on Methods and Applications in Multimodal Deep Learning [8.152125331009389]
マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。
本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。
様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
論文 参考訳（メタデータ） (2022-02-18T13:50:44Z) - Deep Learning for Face Anti-Spoofing: A Survey [74.42603610773931]
対面防止(FAS)は、プレゼンテーションアタック(PA)から顔認識システムを保護する上で重要な役割を担っているため、近年注目を集めている。
論文 参考訳（メタデータ） (2021-06-28T19:12:00Z) - A Deep Learning Framework for Lifelong Machine Learning [6.662800021628275]
シンプルなながら強力な統合型ディープラーニングフレームワークを提案する。
当社のフレームワークは、これらのプロパティとアプローチのほぼすべてを1つの中央機構でサポートします。
この統一生涯学習フレームワークが、大規模な実験と人間の学習全般への新しい取り組みを刺激することを期待している。
論文 参考訳（メタデータ） (2021-05-01T03:43:25Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-06-09T07:22:01Z) - Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。
まずメタラーニングの定義について議論し、関連する分野について位置づける。
そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文 参考訳（メタデータ） (2020-04-11T16:34:24Z) - A Survey of Deep Learning for Scientific Discovery [13.372738220280317]
私たちは、ディープラーニングにおけるコア問題における根本的なブレークスルーを、主にディープニューラルネットワークの進歩によって見てきた。
幅広い科学領域で収集されるデータの量は、サイズと複雑さの両方で劇的に増加しています。
これは、科学的な設定でディープラーニングを応用するための多くのエキサイティングな機会を示唆している。
論文 参考訳（メタデータ） (2020-03-26T06:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。