論文の概要: SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks

• arxiv url: http://arxiv.org/abs/2403.19474v1
• Date: Thu, 28 Mar 2024 15:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 15:54:24.436628
• Title: SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks
• Title（参考訳）: SG-PGM:3次元グラフアライメントのための意味幾何学融合を用いた部分グラフマッチングネットワークとその下流タスク
• Authors: Yaxu Xie, Alain Pagani, Didier Stricker,
• Abstract要約: 我々は3次元シーングラフアライメントを部分的なグラフマッチング問題として扱い、グラフニューラルネットワークを用いてそれを解くことを提案する。 我々は、点雲登録法で学習した幾何学的特徴を再利用し、クラスタ化された点レベルの幾何学的特徴とノードレベルの意味的特徴を関連付ける。 本稿では,3次元シーングラフのノードワイドアライメントを用いて,事前学習した点雲登録手法からマッチング候補を再重み付けする点マッチング再構成手法を提案する。
• 参考スコア（独自算出の注目度）: 14.548198408544032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene graphs have been recently introduced into 3D spatial understanding as a comprehensive representation of the scene. The alignment between 3D scene graphs is the first step of many downstream tasks such as scene graph aided point cloud registration, mosaicking, overlap checking, and robot navigation. In this work, we treat 3D scene graph alignment as a partial graph-matching problem and propose to solve it with a graph neural network. We reuse the geometric features learned by a point cloud registration method and associate the clustered point-level geometric features with the node-level semantic feature via our designed feature fusion module. Partial matching is enabled by using a learnable method to select the top-k similar node pairs. Subsequent downstream tasks such as point cloud registration are achieved by running a pre-trained registration network within the matched regions. We further propose a point-matching rescoring method, that uses the node-wise alignment of the 3D scene graph to reweight the matching candidates from a pre-trained point cloud registration method. It reduces the false point correspondences estimated especially in low-overlapping cases. Experiments show that our method improves the alignment accuracy by 10~20% in low-overlap and random transformation scenarios and outperforms the existing work in multiple downstream tasks.
• Abstract（参考訳）: シーングラフは、シーンの包括的表現として、最近3次元空間理解に導入されている。 3Dシーングラフのアライメントは、シーングラフの支援されたポイントクラウド登録、モザイク、オーバーラップチェック、ロボットナビゲーションなど、多くの下流タスクの最初のステップである。 本研究では,3次元シーングラフアライメントを部分的なグラフマッチング問題として扱い,グラフニューラルネットワークを用いてその解法を提案する。 我々は、ポイントクラウド登録法で学習した幾何学的特徴を再利用し、クラスタ化されたポイントレベルの幾何学的特徴とノードレベルの意味的特徴を設計した特徴融合モジュールを介して関連付ける。 部分マッチングは、学習可能なメソッドを使用してトップkの類似ノードペアを選択することで実現される。 その後のポイントクラウド登録のようなダウンストリームタスクは、マッチした領域内で事前訓練された登録ネットワークを実行することで達成される。 さらに,3次元シーングラフのノードワイドアライメントを用いて,事前学習した点雲登録手法からマッチング候補を再重み付けする点マッチング再構成手法を提案する。 これは特に重複の少ないケースで推定される偽点対応を減少させる。 実験の結果,低オーバーラップおよびランダム変換のシナリオではアライメント精度が10～20%向上し,複数の下流タスクにおいて既存の作業よりも優れていた。

関連論文リスト

• Zero-Shot Point Cloud Registration [94.39796531154303]
  ZeroRegは、ポイントクラウドデータセットのトレーニングを不要にする最初のゼロショットポイントクラウド登録アプローチである。 ZeroRegの基盤は、キーポイントからポイントクラウドへの画像特徴の新たな移行であり、三次元幾何学的近傍からの情報を集約することによって強化されている。 3DMatch、3DLoMatch、ScanNetなどのベンチマークでは、ZeroRegはそれぞれ84%、46%、75%という印象的なリコール比(RR)を達成した。
  論文  参考訳（メタデータ） (2023-12-05T11:33:16Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version) [13.286247750893681]
  3Dポイントクラウドの登録は、コンピュータビジョンとロボティクスの基本的な問題である。 本稿では,ポイントクラウド登録のための新しいディープグラフマッチングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T06:05:25Z)
• Learning task-specific features for 3D pointcloud graph creation [0.8629912408966145]
  本稿では,3Dポイントクラウドからグラフを作成する方法を提案する。 提案手法は,入力された3Dポイントクラウドの変換上でk-NNを実行することに基づいている。 また, ストレス最小化に基づく正規化手法を導入し, ベースラインから学習グラフまでの距離を制御できるようにした: k-NN over xyz 空間。
  論文  参考訳（メタデータ） (2022-09-02T11:13:02Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• Exploiting Local Geometry for Feature and Graph Construction for Better 3D Point Cloud Processing with Graph Neural Networks [22.936590869919865]
  グラフニューラルネットワークの一般枠組みにおける点表現と局所近傍グラフ構築の改善を提案する。 提案されたネットワークは、トレーニングの収束を高速化する。 分類のための40%のより少ないエポック。
  論文  参考訳（メタデータ） (2021-03-28T21:34:59Z)
• SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences [76.28527350263012]
  rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。 我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。 提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
  論文  参考訳（メタデータ） (2021-03-27T13:00:36Z)
• Robust Point Cloud Registration Framework Based on Deep Graph Matching [5.865029600972316]
  3Dポイントクラウド登録は、コンピュータビジョンとロボティクスにおける基本的な問題です。 点群登録のための深層グラフマッチングに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-07T04:20:29Z)
• Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
  逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。 少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。 我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
  論文  参考訳（メタデータ） (2020-06-18T00:55:10Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)
• Learning to Segment 3D Point Clouds in 2D Image Space [20.119802932358333]
  2次元画像空間に3次元点雲を効率よく投影する方法を示す。 U-Netのような従来の2D畳み込みニューラルネットワーク(CNN)はセグメンテーションに適用できる。
  論文  参考訳（メタデータ） (2020-03-12T03:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。