論文の概要: What comes after transformers? -- A selective survey connecting ideas in deep learning
- arxiv url: http://arxiv.org/abs/2408.00386v1
- Date: Thu, 1 Aug 2024 08:50:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 21:16:03.028855
- Title: What comes after transformers? -- A selective survey connecting ideas in deep learning
- Title（参考訳）: 変圧器の後に何が起こるのか -- ディープラーニングのアイデアを結びつける選択的調査
- Authors: Johannes Schneider,
- Abstract要約: 2017年以降、トランスフォーマーは人工知能のデファクトスタンダードモデルとなっている。
研究者にとって、こうした発展をより広いレベルで追跡することは困難である。
深層学習の基本的な理解をすでに持っている人たちに対して、これらの領域における多くの重要かつ最近の研究の概要を包括的に紹介する。
- 参考スコア（独自算出の注目度）: 1.8592384822257952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have become the de-facto standard model in artificial intelligence since 2017 despite numerous shortcomings ranging from energy inefficiency to hallucinations. Research has made a lot of progress in improving elements of transformers, and, more generally, deep learning manifesting in many proposals for architectures, layers, optimization objectives, and optimization techniques. For researchers it is difficult to keep track of such developments on a broader level. We provide a comprehensive overview of the many important, recent works in these areas to those who already have a basic understanding of deep learning. Our focus differs from other works, as we target specifically novel, alternative potentially disruptive approaches to transformers as well as successful ideas of recent deep learning. We hope that such a holistic and unified treatment of influential, recent works and novel ideas helps researchers to form new connections between diverse areas of deep learning. We identify and discuss multiple patterns that summarize the key strategies for successful innovations over the last decade as well as works that can be seen as rising stars. Especially, we discuss attempts on how to improve on transformers covering (partially) proven methods such as state space models but also including far-out ideas in deep learning that seem promising despite not achieving state-of-the-art results. We also cover a discussion on recent state-of-the-art models such as OpenAI's GPT series and Meta's LLama models and, Google's Gemini model family.
- Abstract（参考訳）: トランスフォーマーは、エネルギー不効率から幻覚まで、数多くの欠点があるにもかかわらず、2017年以来、人工知能のデファクトスタンダードモデルとなっている。
トランスフォーマーの要素を改善する研究は、多くの進歩を遂げており、より一般的には、アーキテクチャ、レイヤ、最適化目標、最適化技術に関する多くの提案において、ディープラーニングが示される。
研究者にとって、こうした発展をより広いレベルで追跡することは困難である。
深層学習の基本的な理解をすでに持っている人たちに対して、これらの領域における多くの重要かつ最近の研究の概要を包括的に紹介する。
私たちが特に目指しているのは、トランスフォーマーや最近のディープラーニングの成功アイデアに対する、斬新な、潜在的に破壊的なアプローチです。
このような、影響力のある、最近の作品と新しいアイデアの総合的で統一された治療が、研究者がさまざまな深層学習領域の間に新しいつながりを形成するのに役立つことを願っている。
この10年で成功したイノベーションの鍵となる戦略をまとめた複数のパターンを特定し、議論すると同時に、星が昇ると見なされる作業も議論しています。
特に、状態空間モデルのような実証済みの手法を網羅する(部分的には)トランスフォーマーの改善の試みについて論じるとともに、最先端の結果が得られないにもかかわらず、将来有望と思われる深層学習における遠方的なアイデアについても論じる。
また,OpenAI の GPT シリーズや Meta の LLama モデル,Google の Gemini モデルファミリなど,最近の最先端モデルについても論じる。
関連論文リスト
- A Decade of Deep Learning: A Survey on The Magnificent Seven [19.444198085817543]
ディープラーニングは、過去10年間に人工知能の風景を根本的に変えてきた。
本稿では,この分野の広範な調査から選択した,最も影響力のあるディープラーニングアルゴリズムについて概観する。
本稿では,残差ネットワーク,トランスフォーマー,ジェネレーティブ・アドバーサリアル・ネットワーク,変分オートエンコーダ,グラフニューラルネットワーク,コントラスト言語-画像事前学習,拡散モデルなどの重要なアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2024-12-13T17:55:39Z) - A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。
汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。
VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
論文 参考訳（メタデータ） (2024-05-23T01:43:54Z) - From CNNs to Transformers in Multimodal Human Action Recognition: A Survey [23.674123304219822]
人間の行動認識はコンピュータビジョンにおいて最も広く研究されている研究問題の1つである。
近年の研究では、マルチモーダルデータを用いてこの問題に対処することで性能が向上することが示されている。
視覚モデリングにおけるトランスフォーマーの最近の増加は、アクション認識タスクのパラダイムシフトを引き起こしている。
論文 参考訳（メタデータ） (2024-05-22T02:11:18Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳（メタデータ） (2023-06-11T23:13:51Z) - AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。
提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。
このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文 参考訳（メタデータ） (2023-05-04T23:46:49Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - A Survey of Deep Learning: From Activations to Transformers [3.175481425273993]
ディープラーニングにおける最も重要で最近の研究の概要を包括的に紹介する。
この10年で成功したイノベーションの多くの主要な戦略をまとめたパターンを特定し、議論します。
また,OpenAI の GPT-4 や Google の PaLM 2.0 など,最近開発されたクローズドソースモデルについても議論する。
論文 参考訳（メタデータ） (2023-02-01T19:34:55Z) - Attention mechanisms and deep learning for machine vision: A survey of
the state of the art [0.0]
ビジョントランスフォーマー(ViT)は、確立されたディープラーニングベースのマシンビジョン技術にかなり挑戦している。
いくつかの最近の研究は、これらの2つの異なるフィールドの組み合わせが、両方のフィールドの利点を持つシステムを構築することを証明することを示唆している。
論文 参考訳（メタデータ） (2021-06-03T10:23:32Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2021-01-04T18:57:24Z) - Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a
Survey [0.07366405857677225]
深層強化学習におけるsim-to-realトランスファーの背景について述べる。
本稿では,ドメインランダム化,ドメイン適応,模倣学習,メタラーニング,知識蒸留の3つの主要な手法について概説する。
論文 参考訳（メタデータ） (2020-09-24T21:05:46Z) - Efficient Transformers: A Survey [98.23264445730645]
トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。
本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
論文 参考訳（メタデータ） (2020-09-14T20:38:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。