論文の概要: GeoFormer: Learning Point Cloud Completion with Tri-Plane Integrated Transformer
- arxiv url: http://arxiv.org/abs/2408.06596v1
- Date: Tue, 13 Aug 2024 03:15:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 18:46:15.924732
- Title: GeoFormer: Learning Point Cloud Completion with Tri-Plane Integrated Transformer
- Title(参考訳): GeoFormer: Tri-Plane Integrated Transformerによるポイントクラウドコンプリート学習
- Authors: Jinpeng Yu, Binbin Huang, Yuxuan Zhang, Huaxia Li, Xu Tang, Shenghua Gao,
- Abstract要約: ポイント・クラウド・コンプリートは、正確なグローバル・ジオメトリを復元し、部分的なポイント・クラウドからのきめ細かい局所的な詳細を保存することを目的としている。
従来の手法では、3Dポイントのクラウド座標から直接見えない点を予測したり、自己投影された多視点深度マップを使用するのが一般的である。
ポイントのグローバルな幾何学的構造を同時に拡張し、局所的な詳細を改善するGeoFormerを導入する。
- 参考スコア(独自算出の注目度): 41.26276375114911
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Point cloud completion aims to recover accurate global geometry and preserve fine-grained local details from partial point clouds. Conventional methods typically predict unseen points directly from 3D point cloud coordinates or use self-projected multi-view depth maps to ease this task. However, these gray-scale depth maps cannot reach multi-view consistency, consequently restricting the performance. In this paper, we introduce a GeoFormer that simultaneously enhances the global geometric structure of the points and improves the local details. Specifically, we design a CCM Feature Enhanced Point Generator to integrate image features from multi-view consistent canonical coordinate maps (CCMs) and align them with pure point features, thereby enhancing the global geometry feature. Additionally, we employ the Multi-scale Geometry-aware Upsampler module to progressively enhance local details. This is achieved through cross attention between the multi-scale features extracted from the partial input and the features derived from previously estimated points. Extensive experiments on the PCN, ShapeNet-55/34, and KITTI benchmarks demonstrate that our GeoFormer outperforms recent methods, achieving the state-of-the-art performance. Our code is available at \href{https://github.com/Jinpeng-Yu/GeoFormer}{https://github.com/Jinpeng-Yu/GeoFormer}.
- Abstract(参考訳): ポイント・クラウド・コンプリートは、正確なグローバル・ジオメトリを復元し、部分的なポイント・クラウドからのきめ細かい局所的な詳細を保存することを目的としている。
従来の手法では、3Dポイントのクラウド座標から直接見えない点を予測したり、セルフプロジェクションされた多視点深度マップを使ってこの作業を容易にするのが一般的である。
しかし、これらのグレースケールの深度マップはマルチビューの一貫性に到達できず、結果として性能が制限される。
本稿では,ポイントのグローバルな幾何学的構造を同時に拡張し,局所的な詳細性を改善するGeoFormerを提案する。
具体的には、CCM特徴強調点生成器を設計し、多視点一貫した標準座標写像(CCM)から画像特徴を統合し、それらを純点特徴と整合させ、グローバルな幾何学的特徴を向上させる。
さらに,局所的な詳細を段階的に強化するために,マルチスケール幾何対応アップサンプラーモジュールを用いる。
これは、部分入力から抽出したマルチスケール特徴と、予め推定された点から抽出した特徴との交差注意によって達成される。
PCN、ShapeNet-55/34、KITTIベンチマークの大規模な実験により、GeoFormerは最近の手法より優れており、最先端の性能を実現していることが示された。
我々のコードは \href{https://github.com/Jinpeng-Yu/GeoFormer}{https://github.com/Jinpeng-Yu/GeoFormer} で入手できる。
関連論文リスト
- Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。
そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。
PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
論文 参考訳(メタデータ) (2024-07-26T06:29:09Z) - Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding [11.416392706435415]
ゼロショット3Dポイントクラウド理解は2Dビジョンランゲージモデル(VLM)によって達成できる
既存の戦略は、ヴィジュアル・ランゲージ・モデル(Vision-Language Model)をレンダリングまたはキャプチャされた2Dピクセルから3Dポイントにマッピングし、固有かつ表現可能な雲の幾何学構造を見渡す。
本稿では, 点雲の3次元幾何学的構造を利用して, 移動したビジョン・ランゲージモデルの品質を向上させるための, 初となるトレーニングフリーアグリゲーション手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T12:30:07Z) - GeoDTR+: Toward generic cross-view geolocalization via geometric disentanglement [20.346145927174373]
Cross-View Geo-Localization (CVGL) は、データベース内のジオタグ付き空中画像とマッチングすることで、地上画像の位置を推定する。
既存の手法は、トレーニングデータとテストデータが完全に異なる領域から取得されるクロスエリア評価において、依然としてパフォーマンスの低下に悩まされている。
視覚的特徴の幾何学的レイアウトを抽出する能力の欠如と,低レベルの細部への過度な適合が原因と考えられる。
本研究では,視覚的特徴間の相関をモデル化する拡張GLEモジュールを用いたGeoDTR+を提案する。
論文 参考訳(メタデータ) (2023-08-18T15:32:01Z) - GeoSpark: Sparking up Point Cloud Segmentation with Geometry Clue [25.747471104753426]
GeoSparkは、ネットワークに幾何学的ヒントを組み込んだプラグインモジュールで、機能学習とダウンサンプリングを起動する。
機能集約のために、GeoSparkはローカルポイントと近隣の幾何学的パーティションの両方からネットワークを学習することで改善する。
GeoSparkは、幾何学的分割情報を使用して、ユニークな特徴を持つポイントが保存され、冗長なポイントが融合されるダウンサンプリングプロセスを導く。
論文 参考訳(メタデータ) (2023-03-14T23:30:46Z) - Fusing Visual Appearance and Geometry for Multi-modality 6DoF Object
Tracking [21.74515335906769]
視覚的な外観や形状から情報を融合してオブジェクトのポーズを推定する多モードトラッカーを開発した。
このアルゴリズムは、幾何学的手法であるICGを拡張し、表面の外観をさらに考慮する。
論文 参考訳(メタデータ) (2023-02-22T15:53:00Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳(メタデータ) (2022-12-17T15:05:25Z) - GeoSegNet: Point Cloud Semantic Segmentation via Geometric
Encoder-Decoder Modeling [39.35429984469557]
我々はGeoSegNetと呼ばれるロバストなセマンティックセマンティックセマンティクスネットワークを提案する。
我々のGeoSegNetはマルチジオメトリベースのエンコーダと境界誘導デコーダで構成されている。
実験により,提案手法の精度と対象境界の明瞭度を比較検討し,提案手法を比較検討した。
論文 参考訳(メタデータ) (2022-07-14T09:24:05Z) - Learning Geometry-Disentangled Representation for Complementary
Understanding of 3D Object Point Cloud [50.56461318879761]
3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。
GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。
3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
論文 参考訳(メタデータ) (2020-12-20T13:35:00Z) - Cascaded Refinement Network for Point Cloud Completion [74.80746431691938]
本稿では,細かな物体形状を合成するための粗大な戦略とともに,カスケード型精細化ネットワークを提案する。
部分入力の局所的な詳細と大域的な形状情報を合わせて考えると、既存の詳細を不完全点集合に保存することができる。
また、各局所領域が同じパターンと基底的真理を持つことを保証し、複雑な点分布を学習するパッチ判別器を設計する。
論文 参考訳(メタデータ) (2020-04-07T13:03:29Z) - PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling [103.09504572409449]
PUGeo-Netと呼ばれる新しいディープニューラルネットワークを用いた一様高密度点雲を生成する手法を提案する。
その幾何学中心の性質のおかげで、PUGeo-Netはシャープな特徴を持つCADモデルとリッチな幾何学的詳細を持つスキャンされたモデルの両方でうまく機能する。
論文 参考訳(メタデータ) (2020-02-24T14:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。