論文の概要: Transformer-based models and hardware acceleration analysis in autonomous driving: A survey

• arxiv url: http://arxiv.org/abs/2304.10891v1
• Date: Fri, 21 Apr 2023 11:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 15:02:35.183990
• Title: Transformer-based models and hardware acceleration analysis in autonomous driving: A survey
• Title（参考訳）: 自律運転におけるトランスフォーマーモデルとハードウェアアクセラレーション分析
• Authors: Juan Zhong, Zheng Liu, Xi Chen
• Abstract要約: トランスフォーマーベースのモデルは、車線検出、セグメンテーション、追跡、計画、意思決定などの自律運転タスクに特化している。 本稿では,Encoder-decoderやEncoder-only構造など,Transformerの入力と出力を整理するためのアーキテクチャについてレビューする。 本稿では,Transformer関連演算子とそのハードウェアアクセラレーション方式について,量子化や実行時といった重要な要因を考慮した検討を行う。
• 参考スコア（独自算出の注目度）: 7.129512302898792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer architectures have exhibited promising performance in various autonomous driving applications in recent years. On the other hand, its dedicated hardware acceleration on portable computational platforms has become the next critical step for practical deployment in real autonomous vehicles. This survey paper provides a comprehensive overview, benchmark, and analysis of Transformer-based models specifically tailored for autonomous driving tasks such as lane detection, segmentation, tracking, planning, and decision-making. We review different architectures for organizing Transformer inputs and outputs, such as encoder-decoder and encoder-only structures, and explore their respective advantages and disadvantages. Furthermore, we discuss Transformer-related operators and their hardware acceleration schemes in depth, taking into account key factors such as quantization and runtime. We specifically illustrate the operator level comparison between layers from convolutional neural network, Swin-Transformer, and Transformer with 4D encoder. The paper also highlights the challenges, trends, and current insights in Transformer-based models, addressing their hardware deployment and acceleration issues within the context of long-term autonomous driving applications.
• Abstract（参考訳）: 近年、トランスフォーマーアーキテクチャは様々な自動運転アプリケーションで有望な性能を示している。 一方、ポータブルな計算プラットフォーム上でのハードウェアアクセラレーションは、実車への実用的展開における次の重要なステップとなっている。 本稿では,車線検出,セグメンテーション,追跡,計画,意思決定などの自律運転に適したトランスフォーマーモデルの概要,ベンチマーク,分析を行う。 本稿では,エンコーダ・デコーダやエンコーダのみの構造など,トランスフォーマーの入力と出力を整理するための異なるアーキテクチャについて検討し,それぞれの利点と欠点について考察する。 さらに、量子化や実行といった重要な要素を考慮して、Transformer関連演算子とそのハードウェアアクセラレーションスキームを深く議論する。 具体的には,畳み込みニューラルネットワーク,スウィントランスフォーマ,および4次元エンコーダを用いたトランスフォーマの層間の演算子レベル比較について述べる。 この記事では、Transformerベースのモデルにおける課題、トレンド、現在の洞察を強調し、長期的な自動運転アプリケーションのコンテキストにおけるハードウェアデプロイメントとアクセラレーションの問題に対処する。

関連論文リスト

• A Survey of Vision Transformers in Autonomous Driving: Current Trends and Future Directions [0.0]
  本調査では、自律運転における視覚トランスフォーマーモデルの適応について検討する。 自己注意、マルチヘッドアテンション、エンコーダ・デコーダアーキテクチャといった基本的な概念に焦点を当てている。 調査は将来の研究方向で終わり、自動運転におけるビジョントランスフォーマーの役割の増大を強調している。
  論文  参考訳（メタデータ） (2024-03-12T11:29:40Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Exploring the Performance and Efficiency of Transformer Models for NLP on Mobile Devices [3.809702129519641]
  新しいディープニューラルネットワーク(DNN)アーキテクチャとアプローチが数年毎に登場し、この分野の進歩が加速している。 トランスフォーマーは、AIタスク全体で新しいレベルの精度を達成した比較的新しいモデルファミリである。 この作業は、Transformersのオンデバイス実行の現在の状態を調べて、このギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2023-06-20T10:15:01Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Transformers in Time-series Analysis: A Tutorial [0.0]
  トランスフォーマーアーキテクチャは、特に自然言語処理やコンピュータビジョンにおいて広く応用されている。 本チュートリアルでは、Transformerアーキテクチャ、その応用の概要と、時系列解析における最近の研究論文の例を紹介する。
  論文  参考訳（メタデータ） (2022-04-28T05:17:45Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
  我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。 そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。 提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
  論文  参考訳（メタデータ） (2021-03-30T16:19:27Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。