論文の概要: Diff$^2$I2P: Differentiable Image-to-Point Cloud Registration with Diffusion Prior

• arxiv url: http://arxiv.org/abs/2507.06651v1
• Date: Wed, 09 Jul 2025 08:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.526029
• Title: Diff$^2$I2P: Differentiable Image-to-Point Cloud Registration with Diffusion Prior
• Title（参考訳）: Diff$^2$I2P:Diffusion Priorによる微分可能画像対ポイントクラウド登録
• Authors: Juncheng Mu, Chengwei Ren, Weixiang Zhang, Liang Pan, Xiao-Ping Zhang, Yue Gao,
• Abstract要約: イメージ・ツー・ポイント・クラウド(I2P)の登録には、クロスモーダル対応が不可欠である。 Diff$2$I2P, 完全微分可能なI2P登録フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.693977784321202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning cross-modal correspondences is essential for image-to-point cloud (I2P) registration. Existing methods achieve this mostly by utilizing metric learning to enforce feature alignment across modalities, disregarding the inherent modality gap between image and point data. Consequently, this paradigm struggles to ensure accurate cross-modal correspondences. To this end, inspired by the cross-modal generation success of recent large diffusion models, we propose Diff$^2$I2P, a fully Differentiable I2P registration framework, leveraging a novel and effective Diffusion prior for bridging the modality gap. Specifically, we propose a Control-Side Score Distillation (CSD) technique to distill knowledge from a depth-conditioned diffusion model to directly optimize the predicted transformation. However, the gradients on the transformation fail to backpropagate onto the cross-modal features due to the non-differentiability of correspondence retrieval and PnP solver. To this end, we further propose a Deformable Correspondence Tuning (DCT) module to estimate the correspondences in a differentiable way, followed by the transformation estimation using a differentiable PnP solver. With these two designs, the Diffusion model serves as a strong prior to guide the cross-modal feature learning of image and point cloud for forming robust correspondences, which significantly improves the registration. Extensive experimental results demonstrate that Diff$^2$I2P consistently outperforms SoTA I2P registration methods, achieving over 7% improvement in registration recall on the 7-Scenes benchmark.
• Abstract（参考訳）: イメージ・ツー・ポイント・クラウド(I2P)登録には,クロスモーダル対応の学習が不可欠である。 既存の方法は、主に、画像と点データの間に固有のモダリティギャップを無視して、モダリティを横断する特徴アライメントを強制するためにメートル法学習を利用することで、これを達成している。 結果として、このパラダイムは、正確なクロスモーダル対応を保証するのに苦労する。 この目的のために,近年の大規模拡散モデルにおけるクロスモーダル生成の成功に触発されたDiff$2$I2Pを提案する。 具体的には,深度条件付き拡散モデルから知識を抽出し,予測変換を直接最適化する制御側スコア蒸留(CSD)手法を提案する。 しかし、変換の勾配は、対応検索とPnPソルバの非微分性のため、クロスモーダルな特徴に逆転しない。 この目的のために,変形可能な対応チューニング(DCT)モジュールを提案し,その次に微分可能なPnPソルバを用いた変換推定を行う。 これらの2つの設計により、拡散モデルは、画像と点雲のクロスモーダルな特徴学習を導くための強力な先行として機能し、堅牢な対応を形成することにより、登録を大幅に改善する。 Diff$^2$I2PはSoTA I2Pの登録方法より一貫して優れており、7-Scenesベンチマークでは7%以上の登録リコールが達成されている。

関連論文リスト

• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction [31.503662384666274]
  科学と工学において、ゴールは、ある画像のモダリティを記述する既知のフォワードモデルから収集された少数の測定値から未知の画像を推測することである。 モチベートされたスコアベース拡散モデルはその経験的成功により、画像再構成に先立って模範の印象的な候補として現れた。
  論文  参考訳（メタデータ） (2024-03-25T15:58:26Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators [37.39693977657165]
  イメージとポイントクラウド間のクロスモダリティ機能をマッチングすることは、イメージツーポイントクラウド登録の根本的な問題である。 まず,事前学習した大規模モデルを用いて,画像と点雲のモダリティを統一することを提案する。 画像から画像への拡散モデルから抽出した拡散特徴と呼ばれる中間的特徴が,画像と点雲の間で意味的に一致していることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:57:23Z)
• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• Diffusion Model for Dense Matching [34.13580888014]
  ペア画像間の密接な対応を確立する目的は、データ項と先行項の2つの項からなる。 我々はDiffMatchを提案する。DiffMatchは、データと事前条件の両方を明示的にモデル化する新しい条件付き拡散ベースのフレームワークである。 実験の結果,既存の手法に比べて,提案手法の大幅な性能向上が示された。
  論文  参考訳（メタデータ） (2023-05-30T14:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。