論文の概要: A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks

• arxiv url: http://arxiv.org/abs/2306.07303v1
• Date: Sun, 11 Jun 2023 23:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 16:28:51.132784
• Title: A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
• Title（参考訳）: ディープラーニングタスクへのトランスフォーマーの適用に関する包括的調査
• Authors: Saidul Islam, Hanae Elmekki, Ahmed Elsebai, Jamal Bentahar, Najat Drawel, Gaith Rjoub, Witold Pedrycz
• Abstract要約: Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
• 参考スコア（独自算出の注目度）: 60.38369406877899
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a result, transformer-based models have attracted substantial interest among researchers in the field of artificial intelligence. This can be attributed to their immense potential and remarkable achievements, not only in Natural Language Processing (NLP) tasks but also in a wide range of domains, including computer vision, audio and speech processing, healthcare, and the Internet of Things (IoT). Although several survey papers have been published highlighting the transformer's contributions in specific fields, architectural differences, or performance evaluations, there is still a significant absence of a comprehensive survey paper encompassing its major applications across various domains. Therefore, we undertook the task of filling this gap by conducting an extensive survey of proposed transformer models from 2017 to 2022. Our survey encompasses the identification of the top five application domains for transformer-based models, namely: NLP, Computer Vision, Multi-Modality, Audio and Speech Processing, and Signal Processing. We analyze the impact of highly influential transformer-based models in these domains and subsequently classify them based on their respective tasks using a proposed taxonomy. Our aim is to shed light on the existing potential and future possibilities of transformers for enthusiastic researchers, thus contributing to the broader understanding of this groundbreaking technology.
• Abstract（参考訳）: Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識機構を使用するディープニューラルネットワークである。 従来のニューラルネットワークやLSTM(Long Short-Term Memory)のようなリカレントニューラルネットワーク(RNN)の更新版とは異なり、トランスフォーマーモデルは入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 その結果、トランスフォーマーベースのモデルは人工知能の分野で研究者の間で大きな関心を集めている。 これは、自然言語処理(NLP)タスクだけでなく、コンピュータビジョン、オーディオおよび音声処理、ヘルスケア、IoT(Internet of Things)など、幅広い領域においても、その大きな可能性と顕著な成果に起因する可能性がある。 トランスフォーマーの特定の分野への貢献、建築上の差異、性能評価を強調する調査論文がいくつか出版されているが、様々な分野にまたがる主要な応用を包含する包括的な調査論文は依然として存在していない。 そこで我々は,2017年から2022年にかけて提案する変圧器モデルの広範な調査を行い,このギャップを埋める作業を行った。 本調査では,NLP,コンピュータビジョン,マルチモダリティ,音声・音声処理,信号処理という,トランスフォーマーベースモデルを対象としたトップ5のアプリケーションドメインを特定した。 これらの領域における高度に影響力のあるトランスフォーマーモデルの影響を解析し,提案する分類法を用いてそれぞれのタスクに基づいて分類する。 我々の目標は、熱心な研究者にとってトランスフォーマーの既存の可能性と将来の可能性に光を当てることであり、この画期的な技術のより広い理解に寄与する。

関連論文リスト

• A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships [0.5639904484784127]
  トランスフォーマーモデルによる自然言語処理(NLP)の展望の変化 これらのモデルは、長距離依存やコンテキスト情報をキャプチャする能力で有名である。 コンピュータビジョンにおけるトランスフォーマーモデルの研究の方向性と応用について論じる。
  論文  参考訳（メタデータ） (2024-08-27T16:22:18Z)
• Transformers and Large Language Models for Efficient Intrusion Detection Systems: A Comprehensive Survey [0.3108011671896571]
  本稿では,サイバー脅威検出システムにおけるトランスフォーマーとLCMの利用状況について,包括的分析を行った。 様々なサイバー攻撃の背景情報や、この分野でよく使われるデータセットなど、トランスフォーマーの基本について論じる。 コンピュータネットワーク、IoTデバイス、重要なインフラストラクチャ保護、クラウドコンピューティング、SDN、自動運転車など、TransformerとLLMベースのIDSが実装されているさまざまな環境とアプリケーションについて検討している。
  論文  参考訳（メタデータ） (2024-08-14T14:28:11Z)
• A Survey on Large Language Models from Concept to Implementation [4.219910716090213]
  近年のLarge Language Models (LLM) の進歩により、自然言語処理(NLP)アプリケーションの範囲が拡大している。 本稿では,これらのモデルの多面的応用について検討し,GPTシリーズに着目した。 この調査は、コーディングや問題解決といった従来のタスクに革命をもたらす人工知能(AI)駆動ツールの変革的な影響に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-27T19:35:41Z)
• Anatomy of Neural Language Models [0.0]
  トランスフォーマーベースの言語モデル(LM)は、幅広い応用において新しい最先端の結果をもたらしている。 言語モデリングのようなタスクで事前訓練されたトランスフォーマーは、コンピュータビジョンや時系列アプリケーションで広く採用されている。
  論文  参考訳（メタデータ） (2024-01-08T10:27:25Z)
• Transformers in Reinforcement Learning: A Survey [7.622978576824539]
  トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。 この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
  論文  参考訳（メタデータ） (2023-07-12T07:51:12Z)
• A Transformer Framework for Data Fusion and Multi-Task Learning in Smart Cities [99.56635097352628]
  本稿では,新興スマートシティを対象としたトランスフォーマーベースのAIシステムを提案する。 ほぼ全ての入力データと出力タスクタイプをサポートし、現在のS&CCをサポートする。 S&CC環境を代表する多様なタスクセットを学習して実演する。
  論文  参考訳（メタデータ） (2022-11-18T20:43:09Z)
• Transformers in Medical Imaging: A Survey [88.03790310594533]
  トランスフォーマーはいくつかのコンピュータビジョン問題に適用され、最先端の結果が得られた。 医療画像はまた、局所受容野を持つCNNと比較して、グローバルな文脈を捉えられるトランスフォーマーへの関心が高まっている。 本稿では,最近提案された建築設計から未解決問題に至るまで,医療画像におけるトランスフォーマーの応用について概説する。
  論文  参考訳（メタデータ） (2022-01-24T18:50:18Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。