論文の概要: Mask 2D-3D: Adaptive Dual-Masked Autoencoder Network for Image-to-Point Cloud Registration

• arxiv url: http://arxiv.org/abs/2609.18088v1
• Date: Wed, 16 Sep 2026 03:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.627607
• Title: Mask 2D-3D: Adaptive Dual-Masked Autoencoder Network for Image-to-Point Cloud Registration
• Title（参考訳）: Mask 2D-3D: イメージ・ツー・ポイント・クラウド・レジストレーションのための適応型デュアル・マスク付きオートエンコーダネットワーク
• Abstract要約: イメージ・ツー・ポイント・クラウド登録のための検出不要な方法は、誤った対応をしがちである。 類似性に基づくRLマスキング戦略(SRLM)を用いたID-MAE(Intermodal Dual-MAE)を提案する。 提案手法は,特徴抽出時の表現一貫性を強制することにより,モーダル表現学習を強化する。
• 参考スコア（独自算出の注目度）: 64.37992619361556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detection-free methods for image-to-point cloud registration are prone to erroneous correspondences caused by domain and modality discrepancies, limited sensitivity of feature extractors, and the presence of non-overlapping regions. The Masked Autoencoder (MAE) has shown strong performance in visual representation for images and point clouds. It may be helpful to apply this approach to image-to-point cloud registration, a task that requires unified feature extraction and accurate cross-modal correspondences. Standard MAE's random masking may overlook key regions due to limited camera views, reducing registration effectiveness. To address this, we propose the Intermodal Dual-MAE Framework (ID-MAE) with a Similarity-based RL Masking Strategy (SRLM), which adaptively masks informative positions by leveraging cross-modal similarity and reinforcement learning, thus narrowing the modality gap. Our method enhances cross-modal representation learning by enforcing representation consistency during feature extraction, thereby enabling more reliable 2D-3D correspondence estimation. Experiments on RGB-D Scenes v2 and 7-Scenes benchmarks show that our method achieves state-of-the-art performance in image-to-point cloud registration.
• Abstract（参考訳）: 画像間クラウド登録のための検出不要な方法は、ドメインやモダリティの相違による誤対応、特徴抽出器の感度の制限、重複しない領域の存在が原因である。 Masked Autoencoder (MAE)は画像と点雲の視覚的表現に強いパフォーマンスを示している。 この手法を、統合された特徴抽出と正確な相互モーダル対応を必要とするタスクであるイメージ・ツー・ポイント・クラウド登録に適用するのに役立つかもしれない。 標準的なMAEのランダムマスクは、カメラビューの制限によりキー領域を見落とし、登録効率が低下する可能性がある。 そこで本研究では,RL Masking Strategy (SRLM) を用いたID-MAE(Intermodal Dual-MAE Framework)を提案する。 提案手法は,特徴抽出時の表現整合性を高め,より信頼性の高い2D-3D対応推定を可能にする。 RGB-D Scenes v2 と 7-Scenes のベンチマーク実験により,本手法が画像と点のクラウドの登録において最先端の性能を達成することを示す。

関連論文リスト

• EdgeRegNet: Edge Feature-based Multimodal Registration Network between Images and LiDAR Point Clouds [10.324549723042338]
  クロスモーダルなデータ登録は、長い間コンピュータビジョンにおいて重要な課題だった。 本稿では,原点雲と画像からのエッジ情報を用いたクロスモーダル登録手法を提案する。 提案手法をKITTIおよびnuScenesデータセット上で検証し,その最先端性能を実証した。
  論文  参考訳（メタデータ） (2025-03-19T15:03:41Z)
• Diff-Reg v2: Diffusion-Based Matching Matrix Estimation for Image Matching and 3D Registration [44.88739897482003]
  本稿では,行列空間における拡散モデルを利用して,ロバストマッチング行列推定を行う革新的パラダイムを提案する。 具体的には、3D-3Dおよび2D-3D登録タスクに対して2次元行列空間に拡散モデルを適用する。 3つの登録タスクすべてに対して、各タスクの特定の特性に合わせた適応的マッチング行列埋め込み実装を提供する。
  論文  参考訳（メタデータ） (2025-03-06T06:13:27Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• CMR-Agent: Learning a Cross-Modal Agent for Iterative Image-to-Point Cloud Registration [2.400446821380503]
  Image-to-point cloud registrationは、ポイントクラウドに対するRGBイメージの相対的なカメラポーズを決定することを目的としている。 学習に基づくほとんどの手法は、反復最適化のためのフィードバック機構を使わずに、特徴空間における2D-3D点対応を確立する。 本稿では,登録手順を反復マルコフ決定プロセスとして再構成し,カメラポーズの漸進的な調整を可能にすることを提案する。
  論文  参考訳（メタデータ） (2024-08-05T11:40:59Z)
• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• PiMAE: Point Cloud and Image Interactive Masked Autoencoders for 3D Object Detection [26.03582038710992]
  Masked Autoencoderは強力な視覚表現を学び、いくつかの独立したモダリティで最先端の結果を得る。 本研究は,実世界でしばしば提示される2つのモダリティである,ポイントクラウドとRGBイメージデータに焦点を当てる。 我々は3つの側面を通して3次元と2次元の相互作用を促進する自己教師付き事前学習フレームワークPiMAEを提案する。
  論文  参考訳（メタデータ） (2023-03-14T17:58:03Z)
• MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point Cloud Action Recognition [160.49403075559158]
  本稿では,Pseudo-Labeling autoEncoder (textbfMAPLE) フレームワークを提案する。 特に、MAPLEのバックボーンとして、新規で効率的なtextbfDecoupled textbfspatial-textbftemporal TranstextbfFormer(textbfDestFormer)を設計する。 MAPLEは3つの公開ベンチマークにおいて優れた結果を得て、MSR-Action3の精度を8.08%向上させる。
  論文  参考訳（メタデータ） (2022-09-01T12:32:40Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。