Fugu-MT 論文翻訳(概要): VPOcc: Exploiting Vanishing Point for Monocular 3D Semantic Occupancy Prediction

論文の概要: VPOcc: Exploiting Vanishing Point for Monocular 3D Semantic Occupancy Prediction

arxiv url: http://arxiv.org/abs/2408.03551v1
Date: Wed, 7 Aug 2024 05:23:52 GMT
ステータス: 処理完了
システム内更新日: 2024-08-08 13:53:42.511474
Title: VPOcc: Exploiting Vanishing Point for Monocular 3D Semantic Occupancy Prediction
Title（参考訳）: VPOcc: モノクローナルな3Dセマンティックアクシデント予測のためのバニシングポイントの爆発的発見
Authors: Junsu Kim, Junhee Lee, Ukcheol Shin, Jean Oh, Kyungdon Joo,
Abstract要約: 本稿では,VPOcc という名前のモノラルな3次元セマンティック占有予測フレームワークを提案する。フレームワークはVPを利用する3つの新しいモジュールで構成されています。実験により,本手法はIoUとmIoUの両方の最先端性能を実現することが示された。
参考スコア（独自算出の注目度）: 24.947072696837118
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Monocular 3D semantic occupancy prediction is becoming important in robot vision due to the compactness of using a single RGB camera. However, existing methods often do not adequately account for camera perspective geometry, resulting in information imbalance along the depth range of the image. To address this issue, we propose a vanishing point (VP) guided monocular 3D semantic occupancy prediction framework named VPOcc. Our framework consists of three novel modules utilizing VP. First, in the VPZoomer module, we initially utilize VP in feature extraction to achieve information balanced feature extraction across the scene by generating a zoom-in image based on VP. Second, we perform perspective geometry-aware feature aggregation by sampling points towards VP using a VP-guided cross-attention (VPCA) module. Finally, we create an information-balanced feature volume by effectively fusing original and zoom-in voxel feature volumes with a balanced feature volume fusion (BVFV) module. Experiments demonstrate that our method achieves state-of-the-art performance for both IoU and mIoU on SemanticKITTI and SSCBench-KITTI360. These results are obtained by effectively addressing the information imbalance in images through the utilization of VP. Our code will be available at www.github.com/anonymous.
Abstract（参考訳）: 単一RGBカメラの小型化により,ロボットビジョンにおいてモノクロ3Dセマンティック占有予測の重要性が高まっている。しかし、既存の手法ではカメラの視点形状を適切に考慮していないことが多く、その結果、画像の深さ範囲に沿って情報の不均衡が生じる。この問題に対処するため,VPOcc という名前の単分子的3次元セマンティック占有予測フレームワークを廃止点 (VP) として提案する。フレームワークはVPを利用する3つの新しいモジュールで構成されています。まず、VPZoomerモジュールにおいて、まず、VPに基づいたズームイン画像を生成することにより、機能抽出におけるVPを利用して、シーン間のバランスのとれた特徴抽出を実現する。第2に、VP-guided cross-attention (VPCA)モジュールを用いて、VPに向かって点をサンプリングすることで、視点幾何認識機能アグリゲーションを実行する。最後に,オリジナルおよびズームインされた特徴量と,バランス付特徴量融合(BVFV)モジュールとを効果的に融合させることにより,情報バランスの取れた特徴量を生成する。実験により, セマンティックKITTIとSCBench-KITTI360におけるIoUとmIoUの両方の最先端性能が得られた。これらの結果は、VPの活用により、画像内の情報不均衡を効果的に解決することで得られる。私たちのコードはwww.github.com/anonymousで公開されます。

関連論文リスト

PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。 PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。 PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
論文参考訳（メタデータ） (2024-08-26T19:43:01Z)
Playing to Vision Foundation Model's Strengths in Stereo Matching [13.887661472501618]
本研究は,視覚基礎モデル(VFM)をステレオマッチングに適用するための有効なアプローチを初めて探求した。当社のViTアダプタは,空間微分,パッチアテンション融合,クロスアテンションの3種類のモジュール上に構築されている。 ViTAStereoは、エラーピクセルのパーセンテージで2番目に高いネットワークであるStereoBaseを約7.9%上回り、耐性は3ピクセルである。
論文参考訳（メタデータ） (2024-04-09T12:34:28Z)
Co-Occ: Coupling Explicit Feature Fusion with Volume Rendering Regularization for Multi-Modal 3D Semantic Occupancy Prediction [10.698054425507475]
このレターは、Co-Occと呼ばれる新しいマルチモーダル、すなわちLiDARカメラ3Dセマンティック占有予測フレームワークを提示する。特徴空間におけるボリュームレンダリングは、3D LiDARスイープと2D画像の間のギャップを十分に埋めることができる。
論文参考訳（メタデータ） (2024-04-06T09:01:19Z)
Parametric Depth Based Feature Representation Learning for Object Detection and Segmentation in Bird's Eye View [44.78243406441798]
本稿では,このような特徴変換をモデル化するために,深度などの幾何学的情報を活用することに焦点を当てる。まず2次元画像の特徴を,各ビューの画素ごとのパラメトリック深度分布を予測して,エゴ車に定義された3次元空間に引き上げる。次に、深度からBEVフレームへの3次元空間占有度に基づいて、3次元特徴体積を集約する。
論文参考訳（メタデータ） (2023-07-09T06:07:22Z)
A Simple Baseline for Supervised Surround-view Depth Estimation [25.81521612343612]
本稿では,S3Depthを提案する。我々はCNNとトランスフォーマー層を組み合わせたグローバル・ローカルな特徴抽出モジュールを用いて表現を豊かにする。本手法は,既存のDDADおよびnuScenesデータセット上での最先端手法よりも優れた性能を実現する。
論文参考訳（メタデータ） (2023-03-14T10:06:19Z)
OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for Multi-Camera 3D Object Detection [78.38062015443195]
OA-BEVは、BEVベースの3Dオブジェクト検出フレームワークにプラグインできるネットワークである。提案手法は,BEV ベースラインに対する平均精度と nuScenes 検出スコアの両面で一貫した改善を実現する。
論文参考訳（メタデータ） (2023-01-13T06:02:31Z)
VPIT: Real-time Embedded Single Object 3D Tracking Using Voxel Pseudo Images [90.60881721134656]
本稿では,Voxel Pseudo Image Tracking (VPIT) という,Voxel-based 3D Single Object Tracking (3D SOT) 手法を提案する。 KITTI追跡データセットの実験は、VPITが最速の3D SOT法であり、競合的な成功と精度の値を維持することを示している。
論文参考訳（メタデータ） (2022-06-06T14:02:06Z)
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction [23.21446438011893]
VPFusionは、3D特徴量の両方を使って高品質な再構築を実現し、3D構造対応コンテキストをキャプチャする。既存のアプローチでは、RNN、フィーチャープーリング、および多視点融合のために各ビューで独立に計算された注意を使用する。変換器を用いたペアワイズ・ビュー・アソシエーションの確立により,マルチビュー・フィーチャー・フュージョンが改善された。
論文参考訳（メタデータ） (2022-03-14T23:30:58Z)
M3DSSD: Monocular 3D Single Stage Object Detector [82.25793227026443]
特徴アライメントと非対称非局所的注意を有するモノクロ3次元単段物体検出器(M3DSSD)を提案する。提案したM3DSSDは,KITTIデータセット上のモノラルな3Dオブジェクト検出手法よりも大幅に性能が向上する。
論文参考訳（メタデータ） (2021-03-24T13:09:11Z)
Object-Centric Multi-View Aggregation [86.94544275235454]
本稿では,オブジェクトのスパースなビュー集合を集約して,半単純3次元表現を容積特徴格子の形で計算する手法を提案する。我々のアプローチの鍵となるのは、カメラのポーズを明示することなく、ビューを持ち上げることができるオブジェクト中心の標準3D座標システムである。画素から標準座標系への対称対応マッピングの計算により、未知の領域への情報伝達がより良くなることを示す。
論文参考訳（メタデータ） (2020-07-20T17:38:31Z)
Cylindrical Convolutional Networks for Joint Object Detection and Viewpoint Estimation [76.21696417873311]
3次元空間で定義された畳み込みカーネルの円筒形表現を利用する学習可能なモジュールである円筒型畳み込みネットワーク(CCN)を導入する。 CCNはビュー固有の畳み込みカーネルを通してビュー固有の特徴を抽出し、各視点におけるオブジェクトカテゴリスコアを予測する。本実験は,円柱状畳み込みネットワークが関節物体の検出と視点推定に与える影響を実証する。
論文参考訳（メタデータ） (2020-03-25T10:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。