Fugu-MT 論文翻訳(概要): Divide and Conquer: Improving Multi-Camera 3D Perception with 2D Semantic-Depth Priors and Input-Dependent Queries

論文の概要: Divide and Conquer: Improving Multi-Camera 3D Perception with 2D Semantic-Depth Priors and Input-Dependent Queries

arxiv url: http://arxiv.org/abs/2408.06901v1
Date: Tue, 13 Aug 2024 13:51:34 GMT
ステータス: 処理完了
システム内更新日: 2024-08-14 17:16:53.019768
Title: Divide and Conquer: Improving Multi-Camera 3D Perception with 2D Semantic-Depth Priors and Input-Dependent Queries
Title（参考訳）: Divide and Conquer: 2次元セマンティックディープスプリミティブと入力依存クエリによるマルチカメラ3D知覚の改善
Authors: Qi Song, Qingyong Hu, Chi Zhang, Yongquan Chen, Rui Huang,
Abstract要約: 既存の手法は、しばしば意味と深さの手がかりの相乗効果を無視し、分類と位置推定誤差をもたらす。本稿では,SemanticsとDepthを先行として活用した入力対応トランスフォーマーフレームワークを提案する。我々のアプローチは、意味と深さの事前を明示的にモデル化するS-Dを用いることで、オブジェクトの分類と位置推定の学習プロセスを阻害する。
参考スコア（独自算出の注目度）: 30.17281824826716
License: http://creativecommons.org/licenses/by/4.0/
Abstract: 3D perception tasks, such as 3D object detection and Bird's-Eye-View (BEV) segmentation using multi-camera images, have drawn significant attention recently. Despite the fact that accurately estimating both semantic and 3D scene layouts are crucial for this task, existing techniques often neglect the synergistic effects of semantic and depth cues, leading to the occurrence of classification and position estimation errors. Additionally, the input-independent nature of initial queries also limits the learning capacity of Transformer-based models. To tackle these challenges, we propose an input-aware Transformer framework that leverages Semantics and Depth as priors (named SDTR). Our approach involves the use of an S-D Encoder that explicitly models semantic and depth priors, thereby disentangling the learning process of object categorization and position estimation. Moreover, we introduce a Prior-guided Query Builder that incorporates the semantic prior into the initial queries of the Transformer, resulting in more effective input-aware queries. Extensive experiments on the nuScenes and Lyft benchmarks demonstrate the state-of-the-art performance of our method in both 3D object detection and BEV segmentation tasks.
Abstract（参考訳）: 近年,マルチカメラ画像を用いた3次元物体検出やBird's-Eye-View (BEV)セグメンテーションなどの3次元認識タスクが注目されている。セマンティックレイアウトと3次元シーンレイアウトの両方を正確に推定することがこの作業に不可欠であるにもかかわらず、既存の手法は意味と深さの相乗効果を無視し、分類と位置推定の誤差が発生する。さらに、初期クエリの入力非依存性は、Transformerベースのモデルの学習能力を制限する。これらの課題に対処するために,SemanticsとDepthを先行として活用する入力対応トランスフォーマーフレームワーク(SDTR)を提案する。提案手法では,S-Dエンコーダを用いてセマンティクスと深度を明示的にモデル化し,オブジェクト分類と位置推定の学習プロセスを阻害する。さらに,Transformerの初期クエリに先行するセマンティクスを組み込んだ事前ガイダンスクエリビルダーを導入し,より効果的なインプット・アウェア・クエリを実現する。 nuScenesとLyftベンチマークに関する大規模な実験は、3Dオブジェクト検出とBEVセグメンテーションタスクの両方において、我々の手法の最先端のパフォーマンスを実証している。

関連論文リスト

RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文参考訳（メタデータ） (2023-12-19T03:39:56Z)
Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文参考訳（メタデータ） (2023-12-13T09:24:42Z)
3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文参考訳（メタデータ） (2023-11-07T23:46:41Z)
Parametric Depth Based Feature Representation Learning for Object Detection and Segmentation in Bird's Eye View [44.78243406441798]
本稿では,このような特徴変換をモデル化するために,深度などの幾何学的情報を活用することに焦点を当てる。まず2次元画像の特徴を,各ビューの画素ごとのパラメトリック深度分布を予測して,エゴ車に定義された3次元空間に引き上げる。次に、深度からBEVフレームへの3次元空間占有度に基づいて、3次元特徴体積を集約する。
論文参考訳（メタデータ） (2023-07-09T06:07:22Z)
OCBEV: Object-Centric BEV Transformer for Multi-View 3D Object Detection [29.530177591608297]
マルチビュー3Dオブジェクト検出は、高い有効性と低コストのため、自動運転において人気を博している。現在の最先端検出器のほとんどは、クエリベースのバードアイビュー(BEV)パラダイムに従っている。本稿では,移動対象の時間的・空間的手がかりをより効率的に彫ることができるOCBEVを提案する。
論文参考訳（メタデータ） (2023-06-02T17:59:48Z)
Towards Domain Generalization for Multi-view 3D Object Detection in Bird-Eye-View [11.958753088613637]
まず,MV3D-Detタスクにおける領域ギャップの原因を解析する。頑健な深度予測を得るために,カメラの内在パラメータから深度推定を分離する手法を提案する。焦点長の値を変更して複数の擬似ドメインを作成し、敵の訓練損失を発生させ、特徴表現をよりドメインに依存しないものにするよう促す。
論文参考訳（メタデータ） (2023-03-03T02:59:13Z)
CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文参考訳（メタデータ） (2022-09-13T05:26:09Z)
IAFA: Instance-aware Feature Aggregation for 3D Object Detection from a Single Image [37.83574424518901]
単一の画像からの3Dオブジェクト検出は、自動運転において重要なタスクです。本稿では,3次元物体検出の精度向上のために有用な情報を集約するインスタンス認識手法を提案する。
論文参考訳（メタデータ） (2021-03-05T05:47:52Z)
PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。この2つのタスクを同一のメトリック空間で統一するモデルを提案する。提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文参考訳（メタデータ） (2021-01-17T05:11:38Z)
Monocular 3D Object Detection with Sequential Feature Association and Depth Hint Augmentation [12.55603878441083]
FADNetは、モノクル3Dオブジェクト検出の課題に対処するために提示される。専用のディープヒントモジュールは、ディープヒントと呼ばれる行ワイズ機能を生成するように設計されている。この研究の貢献は、KITTIベンチマークの実験およびアブレーション研究によって検証される。
論文参考訳（メタデータ） (2020-11-30T07:19:14Z)
Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
論文参考訳（メタデータ） (2020-09-22T14:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。