論文の概要: Bridge 2D-3D: Uncertainty-aware Hierarchical Registration Network with Domain Alignment

• arxiv url: http://arxiv.org/abs/2504.01641v1
• Date: Wed, 02 Apr 2025 11:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:24.733047
• Title: Bridge 2D-3D: Uncertainty-aware Hierarchical Registration Network with Domain Alignment
• Title（参考訳）: Bridge 2D-3D: ドメインアライメントを備えた不確実性認識階層型登録ネットワーク
• Authors: Zhixin Cheng, Jiacheng Deng, Xinjun Li, Baoqun Yin, Tianzhu Zhang,
• Abstract要約: 本稿では,不確実性を考慮した階層型マッチングモジュールと対向型モーダルアライメントモジュールを提案する。 UHMMでは、画像パッチにおける臨界情報の不確実性をモデル化し、画像と点雲の特徴間の多層融合を促進する。 AMAMでは,画像と点雲間の領域ギャップを低減するために,逆方向のアプローチを設計する。
• 参考スコア（独自算出の注目度）: 27.59158973598334
• License:
• Abstract: The method for image-to-point cloud registration typically determines the rigid transformation using a coarse-to-fine pipeline. However, directly and uniformly matching image patches with point cloud patches may lead to focusing on incorrect noise patches during matching while ignoring key ones. Moreover, due to the significant differences between image and point cloud modalities, it may be challenging to bridge the domain gap without specific improvements in design. To address the above issues, we innovatively propose the Uncertainty-aware Hierarchical Matching Module (UHMM) and the Adversarial Modal Alignment Module (AMAM). Within the UHMM, we model the uncertainty of critical information in image patches and facilitate multi-level fusion interactions between image and point cloud features. In the AMAM, we design an adversarial approach to reduce the domain gap between image and point cloud. Extensive experiments and ablation studies on RGB-D Scene V2 and 7-Scenes benchmarks demonstrate the superiority of our method, making it a state-of-the-art approach for image-to-point cloud registration tasks.
• Abstract（参考訳）: イメージ・ツー・ポイント・クラウドの登録方法は通常、粗いパイプラインを用いて剛性変換を決定する。 しかし、画像パッチとポイントクラウドパッチを直接均一にマッチングすることは、キーパッチを無視しながらマッチング中に誤ったノイズパッチにフォーカスする可能性がある。 さらに、画像と点雲のモードに大きな違いがあるため、特定の設計の改善なしにドメインギャップを埋めることは困難である。 以上の課題に対処するため,不確実性を考慮した階層マッチングモジュール (UHMM) とアライメントモジュール (AMAM) を革新的に提案する。 UHMM内では、画像パッチにおける臨界情報の不確実性をモデル化し、画像と点雲の特徴間の複数レベルの融合相互作用を促進する。 AMAMでは,画像と点雲間の領域ギャップを低減するために,逆方向のアプローチを設計する。 RGB-D Scene V2 と 7-Scenes ベンチマークの大規模な実験とアブレーション研究により,本手法の優位性が確認された。

関連論文リスト

• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• 2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds [38.425876064671435]
  本稿では2D3D-MATRを提案する。 提案手法では,入力画像のダウンサンプリングされたパッチと点雲との間の粗い対応をまず計算する。 パッチマッチングにおけるスケールのあいまいさを解決するため,各画像パッチに対してマルチスケールピラミッドを構築し,最適なマッチング画像パッチを適切な解像度で検出する。
  論文  参考訳（メタデータ） (2023-08-10T16:10:54Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark [21.255966041023083]
  マルチモーダルおよびマルチリゾリューションデータ融合を用いた高分解能クラウド除去のためのベンチマークデータセットであるM3R-CRを紹介する。 マルチモーダル・マルチレゾリューション情報の統合による高解像度光リモートセンシング画像における雲除去の問題点を考察する。 我々は、低解像度SAR画像誘導高解像度光画像雲除去を行うためのAlign-CRという新しいベースラインを設計する。
  論文  参考訳（メタデータ） (2023-01-09T15:31:28Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• ImLoveNet: Misaligned Image-supported Registration Network for Low-overlap Point Cloud Pairs [14.377604289952188]
  対の点雲間の低オーバーラップ領域は、捕獲された特徴を非常に低信頼にする。 我々は,ImLoveNetと呼ばれる低オーバーラップ点雲対に対する画像対応登録ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:17:34Z)
• Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion [51.11295961195151]
  運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。 局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。 本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
  論文  参考訳（メタデータ） (2022-06-10T05:16:50Z)
• DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
  DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。 本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。 登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
  論文  参考訳（メタデータ） (2021-04-08T04:27:32Z)
• City-scale Scene Change Detection using Point Clouds [71.73273007900717]
  2つの異なる時間にカメラを設置して撮影した画像を用いて都市の構造変化を検出する手法を提案する。 変化検出のための2点雲の直接比較は、不正確な位置情報のため理想的ではない。 この問題を回避するために,ポイントクラウド上での深層学習に基づく非厳密な登録を提案する。 提案手法は,視点や照明の違いがあっても,シーン変化を効果的に検出できることを示す。
  論文  参考訳（メタデータ） (2021-03-26T08:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。