論文の概要: MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization

• arxiv url: http://arxiv.org/abs/2101.06605v1
• Date: Sun, 17 Jan 2021 06:36:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 02:02:41.457812
• Title: MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization
• Title（参考訳）: MultiBodySync:3次元スキャン同期によるマルチボディセグメンテーションと動作推定
• Authors: Jiahui Huang, He Wang, Tolga Birdal, Minhyuk Sung, Federica Arrigoni, Shi-Min Hu, Leonidas Guibas
• Abstract要約: 本稿では,3次元点雲のための多体運動分節と剛性登録フレームワークを提案する。 このマルチスキャンマルチボディ設定によって生じる2つの非自明な課題は、である。 複数の入力ポイントクラウド間の対応性とセグメンテーション一貫性の保証 新規な対象カテゴリーに適用可能なロバストな運動に基づく剛体セグメンテーションを得る。
• 参考スコア（独自算出の注目度）: 61.015704878681795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MultiBodySync, a novel, end-to-end trainable multi-body motion segmentation and rigid registration framework for multiple input 3D point clouds. The two non-trivial challenges posed by this multi-scan multibody setting that we investigate are: (i) guaranteeing correspondence and segmentation consistency across multiple input point clouds capturing different spatial arrangements of bodies or body parts; and (ii) obtaining robust motion-based rigid body segmentation applicable to novel object categories. We propose an approach to address these issues that incorporates spectral synchronization into an iterative deep declarative network, so as to simultaneously recover consistent correspondences as well as motion segmentation. At the same time, by explicitly disentangling the correspondence and motion segmentation estimation modules, we achieve strong generalizability across different object categories. Our extensive evaluations demonstrate that our method is effective on various datasets ranging from rigid parts in articulated objects to individually moving objects in a 3D scene, be it single-view or full point clouds.
• Abstract（参考訳）: マルチボディーシンク(MultiBodySync)は、複数入力3Dポイントクラウドのための、エンドツーエンドのトレーニング可能な多体動作セグメンテーションおよび剛性登録フレームワークである。 このマルチスキャン・マルチボディ・セグメンテーションによって引き起こされる2つの非自明な課題は、 (i) 身体や身体の異なる空間配置を捉える複数の入力点雲間の対応とセグメンテーションの整合性を保証すること、 (ii) 新規な対象カテゴリーに適用可能な頑健な動きに基づく剛体セグメンテーションを得ることである。 本稿では、スペクトル同期を反復的深部宣言ネットワークに組み込んだこれらの問題に対処し、一貫した対応と動きのセグメンテーションを同時に再現する手法を提案する。 同時に、対応と動きのセグメンテーション推定モジュールを明示的に切り離すことで、異なる対象カテゴリ間で強い一般化性が得られる。 本手法は, 物体の剛性部分から, 単視点や全点雲などの3次元シーンで個別に移動する物体まで, 様々なデータセットに対して有効であることを示す。

関連論文リスト

• 3D-Aware Instance Segmentation and Tracking in Egocentric Videos [107.10661490652822]
  エゴセントリックなビデオは、3Dシーンの理解にユニークな課題を提示する。 本稿では,一対一のビデオにおけるインスタンスのセグメンテーションとトラッキングに対する新しいアプローチを提案する。 空間的および時間的手がかりを取り入れることで、最先端の2D手法と比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-08-19T10:08:25Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds [4.709764624933227]
  OGCと呼ばれる最初の教師なしの手法を提案し、同時に複数の3Dオブジェクトを1つの前方通過で識別する。 提案手法を5つのデータセット上で広範囲に評価し,オブジェクト部分のインスタンスセグメンテーションにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-10T07:01:08Z)
• A Dual-Masked Auto-Encoder for Robust Motion Capture with Spatial-Temporal Skeletal Token Completion [13.88656793940129]
  本稿では, 3次元関節を再構成し, 個々の関節を識別するための適応的, アイデンティティを意識した三角測量モジュールを提案する。 次に,D-MAE(Dual-Masked Auto-Encoder)を提案する。 重大なデータ損失シナリオを扱う上で提案するモデルの能力を実証するために,高精度で挑戦的なモーションキャプチャデータセットに貢献する。
  論文  参考訳（メタデータ） (2022-07-15T10:00:43Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• RPM-Net: Recurrent Prediction of Motion and Parts from Point Cloud [19.46077164219437]
  RPM-Netは同時に可動部を推測し、その動きを1つの、未分節でおそらく部分的な3D点雲の形から幻覚させる。 様々な部位の可動性を示す3次元物体の同時動作と実物スキャンによる部分予測の結果を示す。
  論文  参考訳（メタデータ） (2020-06-26T08:51:11Z)
• Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
  ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。 モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。 このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
  論文  参考訳（メタデータ） (2020-03-09T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。