Fugu-MT 論文翻訳(概要): DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion

論文の概要: DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion

arxiv url: http://arxiv.org/abs/2407.07374v1
Date: Wed, 10 Jul 2024 05:19:40 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 17:41:30.314548
Title: DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion
Title（参考訳）: DuInNet: ポイントクラウドコンプリートのためのデュアルモダリティ機能インタラクション
Authors: Xinpu Liu, Baolin Hou, Hanyun Wang, Ke Xu, Jianwei Wan, Yulan Guo,
Abstract要約: 我々は、よりリッチな形状のカテゴリとより多様なテストデータを備えた大規模マルチモーダルポイントクラウド補完ベンチマークModelNet-MPCにコントリビュートする。完全教師付きポイントクラウド完了タスクに加えて、完了の認知とゼロショット学習完了を含む2つのタスクが提案されている。 ShapeNet-ViPCとModelNet-MPCベンチマークの実験により、DuInNetは最先端の手法よりも全ての完了タスクにおいて優越性、堅牢性、転送能力を示すことが示された。
参考スコア（独自算出の注目度）: 33.023714580710504
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To further promote the development of multimodal point cloud completion, we contribute a large-scale multimodal point cloud completion benchmark ModelNet-MPC with richer shape categories and more diverse test data, which contains nearly 400,000 pairs of high-quality point clouds and rendered images of 40 categories. Besides the fully supervised point cloud completion task, two additional tasks including denoising completion and zero-shot learning completion are proposed in ModelNet-MPC, to simulate real-world scenarios and verify the robustness to noise and the transfer ability across categories of current methods. Meanwhile, considering that existing multimodal completion pipelines usually adopt a unidirectional fusion mechanism and ignore the shape prior contained in the image modality, we propose a Dual-Modality Feature Interaction Network (DuInNet) in this paper. DuInNet iteratively interacts features between point clouds and images to learn both geometric and texture characteristics of shapes with the dual feature interactor. To adapt to specific tasks such as fully supervised, denoising, and zero-shot learning point cloud completions, an adaptive point generator is proposed to generate complete point clouds in blocks with different weights for these two modalities. Extensive experiments on the ShapeNet-ViPC and ModelNet-MPC benchmarks demonstrate that DuInNet exhibits superiority, robustness and transfer ability in all completion tasks over state-of-the-art methods. The code and dataset will be available soon.
Abstract（参考訳）: マルチモーダル・ポイント・クラウド・コンプリートの開発をさらに促進するため,よりリッチな形状のカテゴリと多種多様なテストデータを備えた大規模マルチモーダル・ポイント・クラウド・コンプリート・ベンチマーク ModelNet-MPC を寄贈した。完全教師付きポイントクラウド完了タスクに加えて,ModelNet-MPCでは,完成度とゼロショット学習完了度を含む2つのタスクを提案し,実世界のシナリオをシミュレートし,現在の手法のカテゴリ間でのノイズに対する堅牢性と伝達能力を検証する。一方、既存のマルチモーダル補完パイプラインは、通常一方向融合機構を採用し、画像モダリティに先行する形状を無視するので、本論文では、デュアルモーダル特徴相互作用ネットワーク(DuInNet)を提案する。 DuInNetは、点雲と画像の間の特徴を反復的に相互作用させ、形状の幾何学的特徴とテクスチャ的特徴の両方をデュアル特徴対話器で学習する。完全教師付き, 復調, ゼロショット学習点雲の完備化といった特定のタスクに適応するため, 適応点生成器はこれらの2つのモードに対して異なる重みを持つブロック内の完全点雲を生成する。 ShapeNet-ViPCとModelNet-MPCベンチマークの大規模な実験により、DuInNetは最先端の手法よりも全ての完了タスクにおいて優位性、堅牢性、転送能力を示すことが示された。コードとデータセットは近く提供される。

関連論文リスト

DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer [7.210417508954435]
本稿では,画像誘導点雲補完のための新しいデュアルチャネルモダリティ融合ネットワークを提案する。第1段階では、DMF-Netは部分点雲と対応する画像を入力として取り出して粗い点雲を復元する。第2段階では、粗い点雲が2回、形状を意識したアップサンプリング変圧器でアップサンプリングされ、密度の高い完全点雲が得られる。
論文参考訳（メタデータ） (2024-06-25T07:08:19Z)
P2M2-Net: Part-Aware Prompt-Guided Multimodal Point Cloud Completion [6.407066306127476]
高度に隠蔽された点雲から欠落した領域を推定することは極めて困難である。本稿では,P2M2-Net を作成した新しいプロンプト誘導ポイントクラウド補完フレームワークを提案する。入力部分点クラウドと部分認識情報を記述するテキストプロンプトが与えられた場合、Transformerベースの補完ネットワークは、マルチモーダル特徴を効率的に融合させることができる。
論文参考訳（メタデータ） (2023-12-29T14:11:45Z)
Point Cloud Pre-training with Diffusion Models [62.12279263217138]
我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
論文参考訳（メタデータ） (2023-11-25T08:10:05Z)
Rotation-Invariant Completion Network [8.023732679237021]
現実の点雲は通常不完全性に悩まされ、異なるポーズを示す。現在のポイントクラウド補完方法は、トレーニングセットに見られるように、一貫したポーズで完全なポイントクラウドを再現するのに優れています。本稿では,DPCNet (Dual Pipeline Completion Network) と拡張モジュールの2つの部分から構成されるRotation-Invariant Completion Network (RICNet) を提案する。
論文参考訳（メタデータ） (2023-08-23T07:58:20Z)
Variational Relational Point Completion Network for Robust 3D Classification [59.80993960827833]
可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。 VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
論文参考訳（メタデータ） (2023-04-18T17:03:20Z)
Point2Vec for Self-Supervised Representation Learning on Point Clouds [66.53955515020053]
Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
論文参考訳（メタデータ） (2023-03-29T10:08:29Z)
AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers [94.11915008006483]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
論文参考訳（メタデータ） (2023-01-11T16:14:12Z)
A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion [69.32451612060214]
実スキャンされた3Dポイントクラウドはしばしば不完全であり、下流アプリケーションのために完全なポイントクラウドを復元することが重要である。ほとんどの既存のポイントクラウド補完方法は、トレーニングにチャンファー距離(CD)損失を使用する。本稿では,点雲完了のためのPDR(Point Diffusion-Refinement)パラダイムを提案する。
論文参考訳（メタデータ） (2021-12-07T06:59:06Z)
Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
論文参考訳（メタデータ） (2021-11-30T13:08:19Z)
Variational Relational Point Completion Network [41.98957577398084]
既存のポイントクラウド補完メソッドは、グローバルシェイプスケルトンを生成し、細かいローカル詳細を欠いています。本稿では,2つの特性を持つ変分点コンプリートネットワーク(VRCNet)を提案する。 VRCNetは、現実世界のポイントクラウドスキャンで、大きな可能性と堅牢性を示します。
論文参考訳（メタデータ） (2021-04-20T17:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。