論文の概要: Epipolar Attention Field Transformers for Bird's Eye View Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2412.01595v1
• Date: Mon, 02 Dec 2024 15:15:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:30.405660
• Title: Epipolar Attention Field Transformers for Bird's Eye View Semantic Segmentation
• Title（参考訳）: バードアイビューセマンティックセマンティックセグメンテーションのためのエピポーラアテンションフィールドトランス
• Authors: Christian Witte, Jens Behley, Cyrill Stachniss, Marvin Raaijmakers,
• Abstract要約: 本稿では,変換器を用いた画像とBEV特徴マップ要素の相関関係の学習位置エンコーディングへの依存性について述べる。 本稿では, エピポーラ・アテンション・フィールドによるカメラとBEVの関係をモデル化するために, エピポーラ幾何学的制約を活用することを提案する。 実験の結果, EAFormer法は, マップセマンティックセグメンテーションにおいて, 従来のBEV手法よりも2% mIoUの方が優れていることがわかった。
• 参考スコア（独自算出の注目度）: 26.245188807280684
• License:
• Abstract: Spatial understanding of the semantics of the surroundings is a key capability needed by autonomous cars to enable safe driving decisions. Recently, purely vision-based solutions have gained increasing research interest. In particular, approaches extracting a bird's eye view (BEV) from multiple cameras have demonstrated great performance for spatial understanding. This paper addresses the dependency on learned positional encodings to correlate image and BEV feature map elements for transformer-based methods. We propose leveraging epipolar geometric constraints to model the relationship between cameras and the BEV by Epipolar Attention Fields. They are incorporated into the attention mechanism as a novel attribution term, serving as an alternative to learned positional encodings. Experiments show that our method EAFormer outperforms previous BEV approaches by 2% mIoU for map semantic segmentation and exhibits superior generalization capabilities compared to implicitly learning the camera configuration.
• Abstract（参考訳）: 周囲のセマンティクスの空間的理解は、安全な運転決定を可能にするために自動運転車が必要とする重要な能力である。 近年、純粋に視覚に基づくソリューションが研究の関心を高めている。 特に、複数のカメラから鳥の視線(BEV)を抽出するアプローチは、空間的理解に優れた性能を示した。 本稿では,変換器を用いた画像とBEV特徴マップ要素の相関関係の学習位置エンコーディングへの依存性について述べる。 本稿では, エピポーラ・アテンション・フィールドによるカメラとBEVの関係をモデル化するために, エピポーラ幾何学的制約を活用することを提案する。 これらは新しい帰属用語として注目機構に組み込まれ、学習された位置エンコーディングの代替として機能する。 実験の結果, EAFormerはマップセマンティックセグメンテーションにおいて, 2% mIoUで従来のBEV手法よりも優れており, カメラ構成を暗黙的に学習するよりも優れた一般化能力を示すことがわかった。

関連論文リスト

• BEVPose: Unveiling Scene Semantics through Pose-Guided Multi-Modal BEV Alignment [8.098296280937518]
  本稿では,カメラとライダーデータからBEV表現を統合するフレームワークであるBEVPoseについて,センサポーズを誘導監視信号として用いた。 ポーズ情報を活用することで,環境の幾何学的側面と意味的側面の両方を捉えた潜在的BEV埋め込みの学習を容易にし,マルチモーダルな感覚入力を調整・融合する。
  論文  参考訳（メタデータ） (2024-10-28T12:40:27Z)
• OE-BevSeg: An Object Informed and Environment Aware Multimodal Framework for Bird's-eye-view Vehicle Semantic Segmentation [57.2213693781672]
  Bird's-eye-view (BEV)セマンティックセマンティックセグメンテーションは自律運転システムにおいて重要である。 本稿では,BEVセグメンテーション性能を向上させるエンドツーエンドマルチモーダルフレームワークであるOE-BevSegを提案する。 提案手法は,車両セグメンテーションのためのnuScenesデータセットにおいて,最先端の成果を大きなマージンで達成する。
  論文  参考訳（メタデータ） (2024-07-18T03:48:22Z)
• Improving Bird's Eye View Semantic Segmentation by Task Decomposition [42.57351039508863]
  元のBEVセグメンテーションタスクを,BEVマップ再構成とRGB-BEV機能アライメントという2つの段階に分割する。 我々のアプローチは、知覚と生成を異なるステップに組み合わせることの複雑さを単純化し、複雑で挑戦的なシーンを効果的に扱うためのモデルを構築します。
  論文  参考訳（メタデータ） (2024-04-02T13:19:45Z)
• An Efficient Transformer for Simultaneous Learning of BEV and Lane Representations in 3D Lane Detection [55.281369497158515]
  3次元車線検出のための効率的な変圧器を提案する。 バニラ変圧器と異なり、我々のモデルは車線とBEVの表現を同時に学習するクロスアテンション機構を含んでいる。 本手法は,2次元および3次元の車線特徴を画像ビューとBEVの特徴にそれぞれ適用することにより,2次元および3次元車線予測を実現する。
  論文  参考訳（メタデータ） (2023-06-08T04:18:31Z)
• A Cross-Scale Hierarchical Transformer with Correspondence-Augmented Attention for inferring Bird's-Eye-View Semantic Segmentation [13.013635162859108]
  マルチカメラビュー画像に条件付きBEVセマンティックセマンティックセマンティクスを推定することは、安価なデバイスとリアルタイム処理としてコミュニティで人気がある。 セマンティックセグメンテーション推論のための対応強化された注目度を持つ新しいクロススケール階層変換器を提案する。 マルチカメラビュー画像上でのBEVセマンティックセマンティックセグメンテーションの推測における最先端性能を有する。
  論文  参考訳（メタデータ） (2023-04-07T13:52:47Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
  本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。 我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
  論文  参考訳（メタデータ） (2022-11-15T13:52:41Z)
• Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe [115.31507979199564]
  鳥眼視(BEV)における知覚タスクの強力な表現の学習は、産業と学界の両方から注目されつつある。 センサーの構成が複雑化するにつれて、異なるセンサーからの複数のソース情報の統合と、統一されたビューにおける特徴の表現が重要になる。 BEV知覚の中核的な問題は、(a)視点からBEVへの視点変換を通して失われた3D情報を再構成する方法、(b)BEVグリッドにおける基底真理アノテーションの取得方法、(d)センサー構成が異なるシナリオでアルゴリズムを適応・一般化する方法にある。
  論文  参考訳（メタデータ） (2022-09-12T15:29:13Z)
• LaRa: Latents and Rays for Multi-Camera Bird's-Eye-View Semantic Segmentation [43.12994451281451]
  複数のカメラからの車両セマンティックセグメンテーションのための効率的なエンコーダデコーダである'LaRa'を提案する。 我々のアプローチは、複数のセンサーにまたがる情報を、コンパクトでリッチな潜在表現の集合に集約するクロスアテンションシステムを用いています。
  論文  参考訳（メタデータ） (2022-06-27T13:37:50Z)
• GitNet: Geometric Prior-based Transformation for Birds-Eye-View Segmentation [105.19949897812494]
  Birds-eye-view (BEV) セマンティックセマンティックセグメンテーションは自動運転に不可欠である。 本稿では,GitNetという新しい2段階のGeometry Preside-based Transformationフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-16T06:46:45Z)
• BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary Camera Rigs [3.5728676902207988]
  任意のカメラリグからのBEVセマンティックセマンティックセグメンテーションのための効果的なトランスフォーマーベース手法を提案する。 具体的には、まず任意のカメラから画像の特徴を共有バックボーンで符号化する。 BEV-to-imageビュー変換を行うために、効率的なマルチカメラ変形型アテンションユニットを設計する。
  論文  参考訳（メタデータ） (2022-03-08T12:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。