論文の概要: CMR-Agent: Learning a Cross-Modal Agent for Iterative Image-to-Point Cloud Registration

• arxiv url: http://arxiv.org/abs/2408.02394v1
• Date: Mon, 5 Aug 2024 11:40:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:46:54.799093
• Title: CMR-Agent: Learning a Cross-Modal Agent for Iterative Image-to-Point Cloud Registration
• Title（参考訳）: CMR-Agent: 反復的なイメージ・ツー・ポイントクラウド登録のためのクロスモーダルエージェントを学習する
• Authors: Gongxin Yao, Yixin Xuan, Xinyang Li, Yu Pan,
• Abstract要約: Image-to-point cloud registrationは、ポイントクラウドに対するRGBイメージの相対的なカメラポーズを決定することを目的としている。 学習に基づくほとんどの手法は、反復最適化のためのフィードバック機構を使わずに、特徴空間における2D-3D点対応を確立する。 本稿では,登録手順を反復マルコフ決定プロセスとして再構成し,カメラポーズの漸進的な調整を可能にすることを提案する。
• 参考スコア（独自算出の注目度）: 2.400446821380503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-to-point cloud registration aims to determine the relative camera pose of an RGB image with respect to a point cloud. It plays an important role in camera localization within pre-built LiDAR maps. Despite the modality gaps, most learning-based methods establish 2D-3D point correspondences in feature space without any feedback mechanism for iterative optimization, resulting in poor accuracy and interpretability. In this paper, we propose to reformulate the registration procedure as an iterative Markov decision process, allowing for incremental adjustments to the camera pose based on each intermediate state. To achieve this, we employ reinforcement learning to develop a cross-modal registration agent (CMR-Agent), and use imitation learning to initialize its registration policy for stability and quick-start of the training. According to the cross-modal observations, we propose a 2D-3D hybrid state representation that fully exploits the fine-grained features of RGB images while reducing the useless neutral states caused by the spatial truncation of camera frustum. Additionally, the overall framework is well-designed to efficiently reuse one-shot cross-modal embeddings, avoiding repetitive and time-consuming feature extraction. Extensive experiments on the KITTI-Odometry and NuScenes datasets demonstrate that CMR-Agent achieves competitive accuracy and efficiency in registration. Once the one-shot embeddings are completed, each iteration only takes a few milliseconds.
• Abstract（参考訳）: Image-to-point cloud registrationは、ポイントクラウドに対するRGBイメージの相対的なカメラポーズを決定することを目的としている。 プリビルドされたLiDARマップ内のカメラローカライゼーションにおいて重要な役割を果たす。 モダリティのギャップにもかかわらず、ほとんどの学習ベースの手法は、反復最適化のためのフィードバック機構を使わずに特徴空間で2D-3Dポイント対応を確立する。 本稿では,各中間状態に基づいてカメラポーズの漸進的な調整を可能にするため,登録手順を反復マルコフ決定プロセスとして再構築することを提案する。 これを実現するために、我々は強化学習を用いてクロスモーダル登録エージェント(CMR-Agent)を開発し、模倣学習を用いて、その登録ポリシーを安定と訓練の迅速開始のために初期化する。 本研究では,RGB画像の微細な特徴をフル活用する2D-3Dハイブリッド状態表現を提案する。 さらに、全体的なフレームワークはワンショットのクロスモーダルな埋め込みを効率的に再利用できるように設計されており、反復的かつ時間を要する機能抽出を避けている。 KITTI-OdometryとNuScenesデータセットの大規模な実験は、CMR-Agentが登録において競合する精度と効率を達成することを示した。 ワンショットの埋め込みが完了すると、各イテレーションは数ミリ秒しかかからない。

関連論文リスト

• SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning [17.99904937160487]
  本研究では,教師なし深層学習のための空間的手がかりを取り入れた新しいアプローチであるSCIPaDを紹介する。 SCIPaDは平均翻訳誤差22.2%、カメラポーズ推定タスクの平均角誤差34.8%をKITTI Odometryデータセットで達成している。
  論文  参考訳（メタデータ） (2024-07-07T06:52:51Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• SE(3) Diffusion Model-based Point Cloud Registration for Robust 6D Object Pose Estimation [66.16525145765604]
  実世界のシナリオにおける6次元オブジェクトポーズ推定のためのSE(3)拡散モデルに基づく点クラウド登録フレームワークを提案する。 提案手法は,3次元登録タスクをデノナイズ拡散過程として定式化し,音源雲の姿勢を段階的に洗練する。 実世界のTUD-L, LINEMOD, およびOccluded-LINEMODデータセットにおいて, 拡散登録フレームワークが顕著なポーズ推定性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-26T12:47:26Z)
• Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud Registration [4.954184310509112]
  Image-to-point cloud registrationは、RGBイメージと参照ポイントクラウドの間の相対カメラのポーズを決定することを目的としている。 個々の点と画素とのマッチングは、モダリティギャップによって本質的に曖昧である。 本稿では,局所点集合と画素パッチ間の量認識対応を捉える枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-14T03:55:54Z)
• Unleash the Potential of Image Branch for Cross-modal 3D Object Detection [67.94357336206136]
  画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。 まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。 第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
  論文  参考訳（メタデータ） (2023-01-22T08:26:58Z)
• Temporal superimposed crossover module for effective continuous sign language [10.920363368754721]
  本稿では、ゼロパラメータ、ゼロ時間重畳クロスオーバーモジュール(TSCM)を提案し、それを2次元畳み込みと組み合わせて「TSCM+2D畳み込み」ハイブリッド畳み込みを形成する。 2つの大規模連続手話データセットの実験により,提案手法の有効性を実証し,高い競争力を持つ結果を得た。
  論文  参考訳（メタデータ） (2022-11-07T09:33:42Z)
• From One to Many: Dynamic Cross Attention Networks for LiDAR and Camera Fusion [12.792769704561024]
  既存の融合法では、キャリブレーションに基づいて、各3Dポイントを1つの投影された画像ピクセルに調整する傾向がある。 本稿では,動的クロスアテンション(DCA)モジュールを提案する。 Dynamic Cross Attention Network (DCAN) という名称の核融合アーキテクチャは、マルチレベルイメージ機能を活用し、ポイントクラウドの複数の表現に適応する。
  論文  参考訳（メタデータ） (2022-09-25T16:10:14Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
  自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。 自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
  論文  参考訳（メタデータ） (2021-05-05T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。