Fugu-MT 論文翻訳(概要): A Survey of Deep Learning: From Activations to Transformers

論文の概要: A Survey of Deep Learning: From Activations to Transformers

arxiv url: http://arxiv.org/abs/2302.00722v1
Date: Wed, 1 Feb 2023 19:34:55 GMT
ステータス: 処理完了
システム内更新日: 2023-02-03 16:27:00.380910
Title: A Survey of Deep Learning: From Activations to Transformers
Title（参考訳）: ディープラーニングに関するサーベイ:活性化からトランスフォーマーへ
Authors: Johannes Schneider and Michalis Vlachos
Abstract要約: 主要な成功要因は、近年出現した大量のアーキテクチャ、レイヤ、目的、最適化技術である。深層学習の基本的な理解をすでに持っている人に、これらの領域における最も重要で最近の研究の概要を包括的に提供します。我々は、影響力のある、総合的で統一された治療が、研究者が様々な深層学習領域の間に新しいつながりを形成するのに役立つことを願っている。
参考スコア（独自算出の注目度）: 3.6245632117657816
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning has made tremendous progress in the last decade. A key success factor is the large amount of architectures, layers, objectives, and optimization techniques that have emerged in recent years. They include a myriad of variants related to attention, normalization, skip connection, transformer and self-supervised learning schemes -- to name a few. We provide a comprehensive overview of the most important, recent works in these areas to those who already have a basic understanding of deep learning. We hope that a holistic and unified treatment of influential, recent works helps researchers to form new connections between diverse areas of deep learning.
Abstract（参考訳）: ディープラーニングは過去10年間、大きな進歩を遂げてきた。重要な成功要因は、近年出現した大量のアーキテクチャ、レイヤ、目的、最適化技術である。これには、注意、正規化、スキップ接続、トランスフォーマー、自己教師型学習スキームなど、無数のバリエーションが含まれている。深層学習の基本的な理解をすでに持っている人に、これらの領域で最も重要な最近の研究の概観を提供する。我々は、影響力のある、総合的で統一された治療が、研究者が様々な深層学習領域の間に新しいつながりを形成するのに役立つことを願っている。

関連論文リスト

O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
論文参考訳（メタデータ） (2024-10-08T15:13:01Z)
Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
大きな言語モデル(LLM)は、非常に強力な能力を示す。成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
論文参考訳（メタデータ） (2024-09-04T15:11:55Z)
What comes after transformers? -- A selective survey connecting ideas in deep learning [1.8592384822257952]
2017年以降、トランスフォーマーは人工知能のデファクトスタンダードモデルとなっている。研究者にとって、こうした発展をより広いレベルで追跡することは困難である。深層学習の基本的な理解をすでに持っている人たちに対して、これらの領域における多くの重要かつ最近の研究の概要を包括的に紹介する。
論文参考訳（メタデータ） (2024-08-01T08:50:25Z)
A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。 VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
論文参考訳（メタデータ） (2024-05-23T01:43:54Z)
Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。知識の抽出と知識の記憶という2つの側面から問題に取り組む。提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文参考訳（メタデータ） (2022-08-27T09:27:36Z)
A Review on Methods and Applications in Multimodal Deep Learning [8.152125331009389]
マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
論文参考訳（メタデータ） (2022-02-18T13:50:44Z)
Deep Learning for Face Anti-Spoofing: A Survey [74.42603610773931]
対面防止(FAS)は、プレゼンテーションアタック(PA)から顔認識システムを保護する上で重要な役割を担っているため、近年注目を集めている。
論文参考訳（メタデータ） (2021-06-28T19:12:00Z)
A Deep Learning Framework for Lifelong Machine Learning [6.662800021628275]
シンプルなながら強力な統合型ディープラーニングフレームワークを提案する。当社のフレームワークは、これらのプロパティとアプローチのほぼすべてを1つの中央機構でサポートします。この統一生涯学習フレームワークが、大規模な実験と人間の学習全般への新しい取り組みを刺激することを期待している。
論文参考訳（メタデータ） (2021-05-01T03:43:25Z)
Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2020-06-09T07:22:01Z)
Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。まずメタラーニングの定義について議論し、関連する分野について位置づける。そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文参考訳（メタデータ） (2020-04-11T16:34:24Z)
A Survey of Deep Learning for Scientific Discovery [13.372738220280317]
私たちは、ディープラーニングにおけるコア問題における根本的なブレークスルーを、主にディープニューラルネットワークの進歩によって見てきた。幅広い科学領域で収集されるデータの量は、サイズと複雑さの両方で劇的に増加しています。これは、科学的な設定でディープラーニングを応用するための多くのエキサイティングな機会を示唆している。
論文参考訳（メタデータ） (2020-03-26T06:16:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。