論文の概要: Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective
- arxiv url: http://arxiv.org/abs/2204.04730v2
- Date: Tue, 13 Aug 2024 07:30:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 23:45:34.474713
- Title: Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective
- Title（参考訳）: 動作からの深い非剛性構造:シーケンスからシーケンスへの変換の観点から
- Authors: Hui Deng, Tong Zhang, Yuchao Dai, Jiawei Shi, Yiran Zhong, Hongdong Li,
- Abstract要約: 本稿では,シーケンス・ツー・シーケンス翻訳の観点から,ディープNASfMをモデル化する。
まず,1つのフレームから初期非剛体形状とカメラの動きを推定するために,形状運動予測器を適用した。
そこで我々は,カメラの動きと複雑な非剛体形状をモデル化するためのコンテキストモデリングモジュールを提案する。
- 参考スコア（独自算出の注目度）: 81.56957468529602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Directly regressing the non-rigid shape and camera pose from the individual 2D frame is ill-suited to the Non-Rigid Structure-from-Motion (NRSfM) problem. This frame-by-frame 3D reconstruction pipeline overlooks the inherent spatial-temporal nature of NRSfM, i.e., reconstructing the whole 3D sequence from the input 2D sequence. In this paper, we propose to model deep NRSfM from a sequence-to-sequence translation perspective, where the input 2D frame sequence is taken as a whole to reconstruct the deforming 3D non-rigid shape sequence. First, we apply a shape-motion predictor to estimate the initial non-rigid shape and camera motion from a single frame. Then we propose a context modeling module to model camera motions and complex non-rigid shapes. To tackle the difficulty in enforcing the global structure constraint within the deep framework, we propose to impose the union-of-subspace structure by replacing the self-expressiveness layer with multi-head attention and delayed regularizers, which enables end-to-end batch-wise training. Experimental results across different datasets such as Human3.6M, CMU Mocap and InterHand prove the superiority of our framework.
- Abstract（参考訳）: 個々の2次元フレームから非剛体形状とカメラポーズを直接回帰することは、非剛体構造運動(NRSfM)問題に不適である。
このフレーム・バイ・フレーム3D再構成パイプラインは、NRSfMの本質的な時空間特性、すなわち入力された2Dシーケンスから全体の3Dシーケンスを再構築する。
本稿では,入力された2次元フレームシーケンスを全体として捉え,変形する3次元非剛体形状配列を再構成する,シーケンス・ツー・シーケンス変換の観点から,深部NASfMをモデル化する。
まず,1つのフレームから初期非剛体形状とカメラの動きを推定するために,形状運動予測器を適用した。
そこで我々は,カメラの動きと複雑な非剛体形状をモデル化するためのコンテキストモデリングモジュールを提案する。
深層フレームワーク内でのグローバルな構造制約を強制することの難しさに対処するため,自己表現層を多面的注意と遅延正則化に置き換えて,エンドツーエンドのバッチワイズトレーニングを可能にすることを提案する。
Human3.6M、CMU Mocap、InterHandといったさまざまなデータセットに対する実験結果は、我々のフレームワークの優位性を証明している。
関連論文リスト
- Ouroboros3D: Image-to-3D Generation via 3D-aware Recursive Diffusion [43.07285784556328]
既存のイメージ・ツー・3D作成手法では、2段階のプロセスが一般的である。
マルチビュー画像生成と3D再構成を統合した,Ouroboros3Dという統合された3D生成フレームワークを導入する。
論文 参考訳（メタデータ） (2024-06-05T12:15:22Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion [1.7205106391379026]
本研究では,NRSfM(non-rigid structure-from-motion)と深部生成モデルを組み合わせた手法を提案する。
本稿では,3次元形状の変化に対応する2次元GANの潜在空間における軌跡の発見に有効なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-14T08:37:55Z) - 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
単一の2D画像から3D形状を再構築することは難しい作業だ。
従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。
本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T02:03:31Z) - 3D Skeleton-based Few-shot Action Recognition with JEANIE is not so
Na\"ive [28.720272938306692]
We propose a Few-shot Learning pipeline for 3D skeleton-based action recognition by Joint tEmporal and cAmera viewpoiNt alIgnmEnt。
論文 参考訳（メタデータ） (2021-12-23T16:09:23Z) - CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects
from Point Clouds [97.63549045541296]
新規なリジッドオブジェクトインスタンスに対する9DoFポーズトラッキングと,関節付きオブジェクトに対するパート毎ポーズトラッキングを処理可能な統一フレームワークを提案する。
本手法は、高速なFPS 12で、カテゴリレベルのリジッドオブジェクトポーズ(NOCS-REAL275)と関節オブジェクトポーズベンチマーク(SAPIEN、BMVC)の最新のパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-04-08T00:14:58Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z) - SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。
主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。
私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
論文 参考訳（メタデータ） (2020-06-05T18:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。