論文の概要: Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling
- arxiv url: http://arxiv.org/abs/2405.04309v2
- Date: Mon, 24 Jun 2024 01:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 00:53:00.491187
- Title: Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling
- Title（参考訳）: 運動からの非剛性構造:時空間平滑なプロクラステアライメントと空間変動変形モデリング
- Authors: Jiawei Shi, Hui Deng, Yuchao Dai,
- Abstract要約: 非剛性構造移動(NRSfM)の研究が盛んに行われ、大きな進展が見られた。
広範に現実世界のアプリケーションを妨げる重要な課題はまだ残っている。
本稿では,空間時間モデルの観点から,上記の課題を解決することを提案する。
- 参考スコア（独自算出の注目度）: 34.606331252248886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Even though Non-rigid Structure-from-Motion (NRSfM) has been extensively studied and great progress has been made, there are still key challenges that hinder their broad real-world applications: 1) the inherent motion/rotation ambiguity requires either explicit camera motion recovery with extra constraint or complex Procrustean Alignment; 2) existing low-rank modeling of the global shape can over-penalize drastic deformations in the 3D shape sequence. This paper proposes to resolve the above issues from a spatial-temporal modeling perspective. First, we propose a novel Temporally-smooth Procrustean Alignment module that estimates 3D deforming shapes and adjusts the camera motion by aligning the 3D shape sequence consecutively. Our new alignment module remedies the requirement of complex reference 3D shape during alignment, which is more conductive to non-isotropic deformation modeling. Second, we propose a spatial-weighted approach to enforce the low-rank constraint adaptively at different locations to accommodate drastic spatially-variant deformation reconstruction better. Our modeling outperform existing low-rank based methods, and extensive experiments across different datasets validate the effectiveness of our method.
- Abstract（参考訳）: 非厳密なStructure-from-Motion (NRSfM) は広く研究され、大きな進歩を遂げてきたが、しかしながら、彼らの幅広い現実世界の応用を妨げる重要な課題がある。
1) 運動・回転のあいまいさには,余分な制約を伴う明示的なカメラ運動回復又は複雑なプロクリストアライメントが必要である。
2) 既存の大域形状の低ランクモデリングは, 3次元形状列における劇的変形を過小評価することができる。
本稿では,空間時間モデルの観点から,上記の課題を解決することを提案する。
まず, 3次元形状を連続的に整列させて3次元変形形状を推定し, カメラの動きを調整する, 時間的に滑らかなプロクリストアライメントモジュールを提案する。
我々の新しいアライメントモジュールは、非等方的変形モデリングよりも導電性が高いアライメント中の複素参照3次元形状の要求を修復する。
第二に, 空間的変形変形の再現性を向上させるために, 低ランク制約を異なる場所で適応的に適用するための空間重み付け手法を提案する。
提案手法は,既存の低ランクな手法よりも優れており,異なるデータセットにわたる広範な実験により本手法の有効性が検証された。
関連論文リスト
- NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T04:09:34Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - PSS-BA: LiDAR Bundle Adjustment with Progressive Spatial Smoothing [27.060381833488172]
本稿では, プログレッシブ空間平滑化によるLiDARバンドル調整について述べる。
提案手法の有効性とロバスト性をシミュレーションと実世界のデータセットで検証した。
論文 参考訳（メタデータ） (2024-03-10T07:56:54Z) - SE(3) Diffusion Model-based Point Cloud Registration for Robust 6D
Object Pose Estimation [66.16525145765604]
実世界のシナリオにおける6次元オブジェクトポーズ推定のためのSE(3)拡散モデルに基づく点クラウド登録フレームワークを提案する。
提案手法は,3次元登録タスクをデノナイズ拡散過程として定式化し,音源雲の姿勢を段階的に洗練する。
実世界のTUD-L, LINEMOD, およびOccluded-LINEMODデータセットにおいて, 拡散登録フレームワークが顕著なポーズ推定性能を示すことを示す。
論文 参考訳（メタデータ） (2023-10-26T12:47:26Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳（メタデータ） (2023-08-16T09:50:35Z) - Mono-STAR: Mono-camera Scene-level Tracking and Reconstruction [13.329040492332988]
我々は,意味融合,高速モーショントラッキング,非剛性物体の変形,トポロジ的変化を同時にサポートする最初のリアルタイム3次元再構成システムであるMono-STARを提案する。
論文 参考訳（メタデータ） (2023-01-30T19:17:03Z) - SPAMs: Structured Implicit Parametric Models [30.19414242608965]
本研究では,非剛体物体の動きを形状とポーズの部分的不整合表現に構造的に分解する変形可能なオブジェクト表現として,構造化単純パラメトリックモデル(SPAM)を学習する。
複雑な変形物体の動きの深度配列の復元と追跡において、我々の部分認識形状とポーズ理解が最先端のパフォーマンスに繋がることを示す実験を行った。
論文 参考訳（メタデータ） (2022-01-20T12:33:46Z) - Disentangling Geometric Deformation Spaces in Generative Latent Shape
Models [5.582957809895198]
3Dオブジェクトの完全な表現には、解釈可能な方法で変形の空間を特徴づける必要がある。
本研究では,物体形状の空間を剛性方向,非剛性ポーズ,内在的な形状に分解する3次元形状の不整合の事前生成モデルを改善する。
得られたモデルは生の3D形状からトレーニングできる。
論文 参考訳（メタデータ） (2021-02-27T06:54:31Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。