論文の概要: Progressive Query Refinement Framework for Bird's-Eye-View Semantic Segmentation from Surrounding Images

• arxiv url: http://arxiv.org/abs/2407.17003v1
• Date: Wed, 24 Jul 2024 05:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:43:30.663682
• Title: Progressive Query Refinement Framework for Bird's-Eye-View Semantic Segmentation from Surrounding Images
• Title（参考訳）: 周辺画像からのバードアイビューセマンティックセマンティックセマンティックセマンティックセグメンテーションのためのプログレッシブクエリリファインメントフレームワーク
• Authors: Dooseop Choi, Jungyu Kang, Taeghyun An, Kyounghwan Ahn, KyoungWook Min,
• Abstract要約: 本稿では, 自律運転のためのバードズ・アイビュー(BEV)セマンティックセマンティックセグメンテーションにMR(Multi-Resolution)の概念を導入する。 本稿では,画像間と特徴レベル間の相互作用を促進する視覚的特徴相互作用ネットワークを提案する。 大規模な実世界のデータセットを用いて、我々のモデルを評価する。
• 参考スコア（独自算出の注目度）: 3.495246564946556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expressing images with Multi-Resolution (MR) features has been widely adopted in many computer vision tasks. In this paper, we introduce the MR concept into Bird's-Eye-View (BEV) semantic segmentation for autonomous driving. This introduction enhances our model's ability to capture both global and local characteristics of driving scenes through our proposed residual learning. Specifically, given a set of MR BEV query maps, the lowest resolution query map is initially updated using a View Transformation (VT) encoder. This updated query map is then upscaled and merged with a higher resolution query map to undergo further updates in a subsequent VT encoder. This process is repeated until the resolution of the updated query map reaches the target. Finally, the lowest resolution map is added to the target resolution to generate the final query map. During training, we enforce both the lowest and final query maps to align with the ground-truth BEV semantic map to help our model effectively capture the global and local characteristics. We also propose a visual feature interaction network that promotes interactions between features across images and across feature levels, thus highly contributing to the performance improvement. We evaluate our model on a large-scale real-world dataset. The experimental results show that our model outperforms the SOTA models in terms of IoU metric. Codes are available at https://github.com/d1024choi/ProgressiveQueryRefineNet
• Abstract（参考訳）: マルチリゾリューション(MR)機能を持つ画像の表現は多くのコンピュータビジョンタスクで広く採用されている。 本稿では,自律運転のためのBバード・アイビュー(BEV)セマンティックセマンティックセグメンテーションにMRの概念を導入する。 この導入により,提案した残差学習を通して,運転シーンのグローバルな特徴とローカルな特徴の両方を捉えることが可能になった。 具体的には、MR BEVクエリマップのセットが与えられた場合、最低解像度のクエリマップは、ビュー変換(VT)エンコーダを使用して最初に更新される。 この更新されたクエリマップはアップスケールされ、高解像度のクエリマップとマージされ、その後のVTエンコーダでさらなる更新が行われる。 このプロセスは、更新されたクエリマップの解像度がターゲットに到達するまで繰り返される。 最後に、最下位の解像度マップを対象の解像度に追加し、最終クエリマップを生成する。 トレーニング中は,最下位の問合せマップと最終の問合せマップを併用して,地上のBEVセマンティックマップと整合させ,我々のモデルがグローバルな特徴とローカルな特徴を効果的に捉えるのに役立つ。 また,画像間と特徴レベル間の相互作用を促進する視覚的特徴相互作用ネットワークを提案し,性能改善に大きく貢献する。 大規模な実世界のデータセットを用いて、我々のモデルを評価する。 実験結果から,本モデルがIoU測定値でSOTAモデルより優れていることが示された。 コードはhttps://github.com/d1024choi/ProgressiveQueryRefineNetで入手できる。

関連論文リスト

• TopoSD: Topology-Enhanced Lane Segment Perception with SDMap Prior [70.84644266024571]
  我々は、標準定義地図(SDMaps)を見るために知覚モデルを訓練することを提案する。 我々はSDMap要素をニューラル空間マップ表現やインスタンストークンにエンコードし、先行情報のような補完的な特徴を組み込む。 レーンセグメント表現フレームワークに基づいて、モデルはレーン、中心線、およびそれらのトポロジを同時に予測する。
  論文  参考訳（メタデータ） (2024-11-22T06:13:42Z)
• VQ-Map: Bird's-Eye-View Map Layout Estimation in Tokenized Discrete Space via Vector Quantization [108.68014173017583]
  Bird's-eye-view (BEV) マップのレイアウト推定には、エゴ車の周囲の環境要素のセマンティクスを正確に完全に理解する必要がある。 本稿では,Vector Quantized-Variational AutoEncoder (VQ-VAE) に似た生成モデルを用いて,トークン化された離散空間における高レベルのBEVセマンティクスの事前知識を取得することを提案する。 得られたBEVトークンには,異なるBEV要素のセマンティクスを包含したコードブックが組み込まれているため,スパースバックボーン画像特徴と得られたBEVトークンとを直接一致させることができる。
  論文  参考訳（メタデータ） (2024-11-03T16:09:47Z)
• Map It Anywhere (MIA): Empowering Bird's Eye View Mapping using Large-scale Public Data [3.1968751101341173]
  トップダウンのBird's Eye View (BEV)マップは地上ロボットナビゲーションの一般的な表現である。 最近の手法では、ファーストパーソンビュー(FPV)画像からBEVマップを予測することが約束されているが、その一般化可能性は、現在の自動運転車ベースのデータセットによってキャプチャされた小さな領域に限られている。 2つの大規模クラウドソースマッピングプラットフォームを利用することで,よりスケーラブルなマップ予測手法が実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-11T17:57:22Z)
• SemVecNet: Generalizable Vector Map Generation for Arbitrary Sensor Configurations [3.8472678261304587]
  センサ構成への一般化を改善したベクトルマップ生成のためのモジュールパイプラインを提案する。 センサ構成に頑健なBEVセマンティックマップを採用することにより,提案手法は一般化性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-04-30T23:45:16Z)
• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• NeMO: Neural Map Growing System for Spatiotemporal Fusion in Bird's-Eye-View and BDD-Map Benchmark [9.430779563669908]
  視覚中心のBird's-Eye View表現は自律運転システムに不可欠である。 この研究は、読みやすく、説明可能なビッグマップを利用してローカルマップを生成するための、NeMOという新しいパラダイムを概説する。 すべてのBEVグリッドの特徴分布が同じパターンに従うと仮定して、すべてのグリッドに対して共有重み付きニューラルネットワークを採用して、ビッグマップを更新する。
  論文  参考訳（メタデータ） (2023-06-07T15:46:15Z)
• Rethinking Range View Representation for LiDAR Segmentation [66.73116059734788]
  「多対一」マッピング、意味的不整合、形状変形は、射程射影からの効果的な学習に対する障害となる可能性がある。 RangeFormerは、ネットワークアーキテクチャ、データ拡張、後処理を含む新しい設計を含む、フルサイクルのフレームワークである。 比較対象のLiDARセマンティックスとパノプティックスセグメンテーションのベンチマークにおいて,初めてレンジビュー法が点,ボクセル,マルチビューフュージョンを越えられることを示す。
  論文  参考訳（メタデータ） (2023-03-09T16:13:27Z)
• BEV-Locator: An End-to-end Visual Semantic Localization Network Using Multi-View Images [13.258689143949912]
  マルチビューカメラ画像を用いたエンドツーエンドの視覚的セマンティックローカライゼーションニューラルネットワークを提案する。 BEV-Locatorは、多目的シナリオ下での車両のポーズを推定することができる。 実験では, 平均絶対誤差が0.052m, 0.135m, 0.251$circ$, 横方向, 縦方向の翻訳, 方向角の程度で満足な精度を報告した。
  論文  参考訳（メタデータ） (2022-11-27T20:24:56Z)
• Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
  本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。 我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
  論文  参考訳（メタデータ） (2022-11-15T13:52:41Z)
• LaRa: Latents and Rays for Multi-Camera Bird's-Eye-View Semantic Segmentation [43.12994451281451]
  複数のカメラからの車両セマンティックセグメンテーションのための効率的なエンコーダデコーダである'LaRa'を提案する。 我々のアプローチは、複数のセンサーにまたがる情報を、コンパクトでリッチな潜在表現の集合に集約するクロスアテンションシステムを用いています。
  論文  参考訳（メタデータ） (2022-06-27T13:37:50Z)
• TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo [55.30992853477754]
  本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。 ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
  論文  参考訳（メタデータ） (2021-11-14T19:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。