Fugu-MT 論文翻訳(概要): TFCT-I2P: Three stream fusion network with color aware transformer for image-to-point cloud registration

論文の概要: TFCT-I2P: Three stream fusion network with color aware transformer for image-to-point cloud registration

arxiv url: http://arxiv.org/abs/2410.00360v1
Date: Tue, 1 Oct 2024 03:14:34 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 06:06:43.712389
Title: TFCT-I2P: Three stream fusion network with color aware transformer for image-to-point cloud registration
Title（参考訳）: TFCT-I2P:イメージ・ツー・ポイント・クラウド登録のための色認識変換器を用いた3つのストリーム融合ネットワーク
Authors: Muyao Peng, Pei An, Zichen Wan, You Yang, Qiong Liu,
Abstract要約: 点雲(3次元)と画像(2次元)の特徴の次元的差異は、その発展に重大な課題をもたらし続けている。この課題に対処するため,TFCT-I2P と呼ばれるイメージ・ツー・ポイント・クラウド手法を提案する。
参考スコア（独自算出の注目度）: 10.625216676812297
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Along with the advancements in artificial intelligence technologies, image-to-point-cloud registration (I2P) techniques have made significant strides. Nevertheless, the dimensional differences in the features of points cloud (three-dimension) and image (two-dimension) continue to pose considerable challenges to their development. The primary challenge resides in the inability to leverage the features of one modality to augment those of another, thereby complicating the alignment of features within the latent space. To address this challenge, we propose an image-to-point-cloud method named as TFCT-I2P. Initially, we introduce a Three-Stream Fusion Network (TFN), which integrates color information from images with structural information from point clouds, facilitating the alignment of features from both modalities. Subsequently, to effectively mitigate patch-level misalignments introduced by the inclusion of color information, we design a Color-Aware Transformer (CAT). Finally, we conduct extensive experiments on 7Scenes, RGB-D Scenes V2, ScanNet V2, and a self-collected dataset. The results demonstrate that TFCT-I2P surpasses state-of-the-art methods by 1.5% in Inlier Ratio, 0.4% in Feature Matching Recall, and 5.4% in Registration Recall. Therefore, we believe that the proposed TFCT-I2P contributes to the advancement of I2P registration.
Abstract（参考訳）: 人工知能技術の進歩とともに、イメージ・ツー・ポイント・クラウド登録(I2P)技術は大きな進歩を遂げた。それでも、点雲(3次元)と画像(2次元)の特徴の次元的差異は、その発展に重大な課題をもたらし続けている。第一の課題は、あるモダリティの特徴を活用して他のモダリティを増大させることができず、従属空間内の特徴のアライメントが複雑になることである。この課題に対処するため,TFCT-I2P と呼ばれるイメージ・ツー・ポイント・クラウド手法を提案する。当初,3ストリーム融合ネットワーク(TFN)を導入し,画像からの色情報と点雲からの構造情報を統合し,両モード間の特徴のアライメントを容易にする。その後、カラー情報を含むことにより生じるパッチレベルの不一致を効果的に軽減するために、カラーアウェア変換器(CAT)を設計する。最後に,7Scenes,RGB-D Scenes V2,ScanNet V2,自己収集データセットについて広範な実験を行った。その結果,TFCT-I2PはInlier Ratioが1.5%,Feature Matching Recallが0.4%,Registration Recallが5.4%,最先端メソッドが1.5%を超えることがわかった。したがって,提案するTFCT-I2PはI2P登録の進展に寄与すると考えられる。

関連論文リスト

Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer [52.40992954884257]
3D視覚化技術は、私たちがデジタルコンテンツと対話する方法を根本的に変えてきた。ポイントクラウドの大規模データサイズは、データ圧縮において大きな課題を呈している。そこで我々はPCACと差別化可能なレンダリングをシームレスに統合するエンドツーエンドのディープラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-12T16:12:51Z)
PointDifformer: Robust Point Cloud Registration With Neural Diffusion and Transformer [31.02661827570958]
ポイントクラウド登録は、3Dコンピュータビジョンにおける基本的な技術であり、グラフィック、自律運転、ロボット工学の応用がある。本稿では,グラフニューラル偏微分方程式(PDE)と熱カーネルシグネチャを利用するロバストポイントクラウド登録手法を提案する。 3Dポイントクラウドデータセットの実証実験により、我々のアプローチは、ポイントクラウド登録のための最先端のパフォーマンスを達成するだけでなく、付加的なノイズや3D形状の摂動に対してより堅牢性を示すことを示した。
論文参考訳（メタデータ） (2024-04-22T09:50:12Z)
HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
論文参考訳（メタデータ） (2024-03-18T14:18:08Z)
PointMBF: A Multi-scale Bidirectional Fusion Network for Unsupervised RGB-D Point Cloud Registration [6.030097207369754]
本稿では,RGB画像と深度画像から生成された点雲との間に,マルチスケールの双方向融合を実現するネットワークを提案する。提案手法は,新しい最先端性能を実現する。
論文参考訳（メタデータ） (2023-08-09T08:13:46Z)
Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images [11.100398985633754]
両手で高密度メッシュを復元するためのエンドツーエンドフレームワークを提案する。我々のフレームワークはResNet50とPointNet++を使って、RGBとpoint cloudから機能を派生しています。また,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) も導入した。
論文参考訳（メタデータ） (2023-07-12T09:33:21Z)
PCR-CG: Point Cloud Registration via Deep Explicit Color and Geometry [28.653015760036602]
色信号を幾何学表現に明示的に埋め込む新しい3Dポイントクラウド登録モジュールを提案する。我々の重要な貢献は、色信号から学習した深い特徴を幾何学的表現に埋め込む2D-3Dクロスモダリティ学習アルゴリズムである。本研究は, 登録作業において, 鮮明な深色特徴を点雲に関連付けるという大きな利点を明らかにした。
論文参考訳（メタデータ） (2023-02-28T08:50:17Z)
CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
論文参考訳（メタデータ） (2022-07-12T11:49:31Z)
EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文参考訳（メタデータ） (2021-06-21T10:47:26Z)
Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文参考訳（メタデータ） (2021-03-19T04:00:27Z)
SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
論文参考訳（メタデータ） (2021-02-24T08:57:32Z)
Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。