論文の概要: GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for
Multi-Modal 3D Object Detection
- arxiv url: http://arxiv.org/abs/2310.08261v1
- Date: Thu, 12 Oct 2023 12:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 11:28:10.702321
- Title: GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for
Multi-Modal 3D Object Detection
- Title（参考訳）: GraphAlign:マルチモーダル3Dオブジェクト検出のためのグラフマッチングによる正確な特徴調整の強化
- Authors: Ziying Song, Haiyue Wei, Lin Bai, Lei Yang, Caiyan Jia
- Abstract要約: LiDARとカメラは、自律運転における3Dオブジェクト検出のための補完センサーである。
グラフマッチングによる3次元物体検出のためのより正確な特徴アライメント戦略であるGraphAlignを提案する。
- 参考スコア（独自算出の注目度）: 7.743525134435137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR and cameras are complementary sensors for 3D object detection in
autonomous driving. However, it is challenging to explore the unnatural
interaction between point clouds and images, and the critical factor is how to
conduct feature alignment of heterogeneous modalities. Currently, many methods
achieve feature alignment by projection calibration only, without considering
the problem of coordinate conversion accuracy errors between sensors, leading
to sub-optimal performance. In this paper, we present GraphAlign, a more
accurate feature alignment strategy for 3D object detection by graph matching.
Specifically, we fuse image features from a semantic segmentation encoder in
the image branch and point cloud features from a 3D Sparse CNN in the LiDAR
branch. To save computation, we construct the nearest neighbor relationship by
calculating Euclidean distance within the subspaces that are divided into the
point cloud features. Through the projection calibration between the image and
point cloud, we project the nearest neighbors of point cloud features onto the
image features. Then by matching the nearest neighbors with a single point
cloud to multiple images, we search for a more appropriate feature alignment.
In addition, we provide a self-attention module to enhance the weights of
significant relations to fine-tune the feature alignment between heterogeneous
modalities. Extensive experiments on nuScenes benchmark demonstrate the
effectiveness and efficiency of our GraphAlign.
- Abstract（参考訳）: LiDARとカメラは、自律運転における3Dオブジェクト検出のための補完センサーである。
しかし、点雲と画像の間の不自然な相互作用を探索することは困難であり、重要な要素は不均一なモジュラリティの特徴的アライメントの実施方法である。
現在,センサ間の座標変換精度の誤差を考慮せず,投影校正のみで特徴の整列を実現する手法が多数提案されている。
本稿では,グラフマッチングによる3次元物体検出のためのより正確な特徴アライメント戦略であるGraphAlignを提案する。
具体的には、画像ブランチのセマンティックセグメンテーションエンコーダからの画像特徴と、LiDARブランチの3DスパースCNNからポイントクラウド特徴を融合する。
計算を保存するために, 点雲の特徴に分割された部分空間内のユークリッド距離を計算し, 近接関係を構築する。
画像と点雲の間の投影校正を通して、最も近い点雲の特徴を画像の特徴に投影する。
そして、最寄りの隣接点を1つの点クラウドと複数の画像にマッチングすることで、より適切な機能アライメントを探索する。
さらに,重要な関係の重み付けを強化し,不均質なモダリティ間の特徴のアライメントを微調整するセルフアテンションモジュールを提供する。
nuScenesベンチマークに関する大規模な実験は、GraphAlignの有効性と効率を実証しています。
関連論文リスト
- SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks [14.548198408544032]
我々は3次元シーングラフアライメントを部分的なグラフマッチング問題として扱い、グラフニューラルネットワークを用いてそれを解くことを提案する。
我々は、点雲登録法で学習した幾何学的特徴を再利用し、クラスタ化された点レベルの幾何学的特徴とノードレベルの意味的特徴を関連付ける。
本稿では,3次元シーングラフのノードワイドアライメントを用いて,事前学習した点雲登録手法からマッチング候補を再重み付けする点マッチング再構成手法を提案する。
論文 参考訳（メタデータ） (2024-03-28T15:01:58Z) - Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。
本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。
我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
論文 参考訳（メタデータ） (2024-01-23T02:41:06Z) - LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and
Semantic-Aware Alignment [63.83894701779067]
我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。
提案手法では,LiDAR-Camera融合を3段階に分けて行う。
我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
論文 参考訳（メタデータ） (2023-08-03T10:57:58Z) - LFM-3D: Learnable Feature Matching Across Wide Baselines Using 3D
Signals [9.201550006194994]
学習可能なマーカは、画像ペア間のコビジュアビリティの小さな領域だけが存在する場合、しばしば性能が低下する。
グラフニューラルネットワークに基づくモデルを用いた学習可能な特徴マッチングフレームワーク LFM-3D を提案する。
その結果,画像対の相対的ポーズ精度が向上し,画像対の相対的ポーズ精度が向上することがわかった。
論文 参考訳（メタデータ） (2023-03-22T17:46:27Z) - Differentiable Uncalibrated Imaging [25.67247660827913]
本稿では,センサ位置や投影角などの測定座標の不確実性に対処する,識別可能なイメージングフレームワークを提案する。
入力座標に対して自然に微分可能な暗黙のニューラルネットワーク、別名ニューラルフィールドを適用する。
測定表現を協調的に適合させ、不確実な測定座標を最適化し、一貫したキャリブレーションを保証する画像再構成を行うため、微分性は鍵となる。
論文 参考訳（メタデータ） (2022-11-18T22:48:09Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。
具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
論文 参考訳（メタデータ） (2022-07-12T11:49:31Z) - Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。
我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。
私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文 参考訳（メタデータ） (2022-03-30T12:40:30Z) - Angle Based Feature Learning in GNN for 3D Object Detection using Point
Cloud [4.3012765978447565]
本稿では,点群における3次元物体検出のための特徴符号化手法を提案する。
車、歩行者、自転車といった3D物体の検出には、グラフニューラルネットワーク(GNN)を使用しました。
論文 参考訳（メタデータ） (2021-08-02T10:56:02Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳（メタデータ） (2021-04-08T04:27:32Z) - RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。
提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2020-09-09T20:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。