論文の概要: A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks
- arxiv url: http://arxiv.org/abs/2306.07303v1
- Date: Sun, 11 Jun 2023 23:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 16:28:51.132784
- Title: A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks
- Title(参考訳): ディープラーニングタスクへのトランスフォーマーの適用に関する包括的調査
- Authors: Saidul Islam, Hanae Elmekki, Ahmed Elsebai, Jamal Bentahar, Najat
Drawel, Gaith Rjoub, Witold Pedrycz
- Abstract要約: Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
- 参考スコア(独自算出の注目度): 60.38369406877899
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformer is a deep neural network that employs a self-attention mechanism
to comprehend the contextual relationships within sequential data. Unlike
conventional neural networks or updated versions of Recurrent Neural Networks
(RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in
handling long dependencies between input sequence elements and enable parallel
processing. As a result, transformer-based models have attracted substantial
interest among researchers in the field of artificial intelligence. This can be
attributed to their immense potential and remarkable achievements, not only in
Natural Language Processing (NLP) tasks but also in a wide range of domains,
including computer vision, audio and speech processing, healthcare, and the
Internet of Things (IoT). Although several survey papers have been published
highlighting the transformer's contributions in specific fields, architectural
differences, or performance evaluations, there is still a significant absence
of a comprehensive survey paper encompassing its major applications across
various domains. Therefore, we undertook the task of filling this gap by
conducting an extensive survey of proposed transformer models from 2017 to
2022. Our survey encompasses the identification of the top five application
domains for transformer-based models, namely: NLP, Computer Vision,
Multi-Modality, Audio and Speech Processing, and Signal Processing. We analyze
the impact of highly influential transformer-based models in these domains and
subsequently classify them based on their respective tasks using a proposed
taxonomy. Our aim is to shed light on the existing potential and future
possibilities of transformers for enthusiastic researchers, thus contributing
to the broader understanding of this groundbreaking technology.
- Abstract(参考訳): Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識機構を使用するディープニューラルネットワークである。
従来のニューラルネットワークやLSTM(Long Short-Term Memory)のようなリカレントニューラルネットワーク(RNN)の更新版とは異なり、トランスフォーマーモデルは入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
その結果、トランスフォーマーベースのモデルは人工知能の分野で研究者の間で大きな関心を集めている。
これは、自然言語処理(NLP)タスクだけでなく、コンピュータビジョン、オーディオおよび音声処理、ヘルスケア、IoT(Internet of Things)など、幅広い領域においても、その大きな可能性と顕著な成果に起因する可能性がある。
トランスフォーマーの特定の分野への貢献、建築上の差異、性能評価を強調する調査論文がいくつか出版されているが、様々な分野にまたがる主要な応用を包含する包括的な調査論文は依然として存在していない。
そこで我々は,2017年から2022年にかけて提案する変圧器モデルの広範な調査を行い,このギャップを埋める作業を行った。
本調査では,NLP,コンピュータビジョン,マルチモダリティ,音声・音声処理,信号処理という,トランスフォーマーベースモデルを対象としたトップ5のアプリケーションドメインを特定した。
これらの領域における高度に影響力のあるトランスフォーマーモデルの影響を解析し,提案する分類法を用いてそれぞれのタスクに基づいて分類する。
我々の目標は、熱心な研究者にとってトランスフォーマーの既存の可能性と将来の可能性に光を当てることであり、この画期的な技術のより広い理解に寄与する。
関連論文リスト
- Anatomy of Neural Language Models [0.0]
トランスフォーマーベースの言語モデル(LM)は、幅広い応用において新しい最先端の結果をもたらしている。
言語モデリングのようなタスクで事前訓練されたトランスフォーマーは、コンピュータビジョンや時系列アプリケーションで広く採用されている。
論文 参考訳(メタデータ) (2024-01-08T10:27:25Z) - A Survey of Techniques for Optimizing Transformer Inference [3.6258657276072253]
近年、トランスフォーマーニューラルネットワークの性能と応用が飛躍的に上昇している。
ChatGPTのようなトランスフォーマーベースのネットワークは、一般的な男性の生活に影響を与えている。
研究者は、あらゆるレベルの抽象化でトランスフォーマー推論を最適化する手法を提案している。
論文 参考訳(メタデータ) (2023-07-16T08:50:50Z) - Transformers in Reinforcement Learning: A Survey [7.622978576824539]
トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。
この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
論文 参考訳(メタデータ) (2023-07-12T07:51:12Z) - A Transformer Framework for Data Fusion and Multi-Task Learning in Smart
Cities [99.56635097352628]
本稿では,新興スマートシティを対象としたトランスフォーマーベースのAIシステムを提案する。
ほぼ全ての入力データと出力タスクタイプをサポートし、現在のS&CCをサポートする。
S&CC環境を代表する多様なタスクセットを学習して実演する。
論文 参考訳(メタデータ) (2022-11-18T20:43:09Z) - Exploring Transformers for Behavioural Biometrics: A Case Study in Gait
Recognition [0.7874708385247353]
本稿ではトランスフォーマーに基づく新しい歩行生体認証システムについて検討し,提案する。
実験フレームワークでは、最先端アーキテクチャ(Vanilla、Informer、Autoformer、Block-Recurrent Transformer、THAT)が検討されている。
代表的な2つの公開データベースwuGAITとOU-ISIRを用いて実験を行った。
論文 参考訳(メタデータ) (2022-06-03T08:08:40Z) - Transformers in Medical Imaging: A Survey [88.03790310594533]
トランスフォーマーはいくつかのコンピュータビジョン問題に適用され、最先端の結果が得られた。
医療画像はまた、局所受容野を持つCNNと比較して、グローバルな文脈を捉えられるトランスフォーマーへの関心が高まっている。
本稿では,最近提案された建築設計から未解決問題に至るまで,医療画像におけるトランスフォーマーの応用について概説する。
論文 参考訳(メタデータ) (2022-01-24T18:50:18Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳(メタデータ) (2021-01-04T18:57:24Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳(メタデータ) (2020-12-23T09:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。