論文の概要: Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild

• arxiv url: http://arxiv.org/abs/2007.12806v1
• Date: Fri, 24 Jul 2020 23:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 06:57:32.732859
• Title: Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild
• Title（参考訳）: 野生における動的3次元ヒト再建のための時空間束調整
• Authors: Minh Vo, Yaser Sheikh, and Srinivasa G. Narasimhan
• Abstract要約: 本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。 複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
• 参考スコア（独自算出の注目度）: 49.672487902268706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bundle adjustment jointly optimizes camera intrinsics and extrinsics and 3D point triangulation to reconstruct a static scene. The triangulation constraint, however, is invalid for moving points captured in multiple unsynchronized videos and bundle adjustment is not designed to estimate the temporal alignment between cameras. We present a spatiotemporal bundle adjustment framework that jointly optimizes four coupled sub-problems: estimating camera intrinsics and extrinsics, triangulating static 3D points, as well as sub-frame temporal alignment between cameras and computing 3D trajectories of dynamic points. Key to our joint optimization is the careful integration of physics-based motion priors within the reconstruction pipeline, validated on a large motion capture corpus of human subjects. We devise an incremental reconstruction and alignment algorithm to strictly enforce the motion prior during the spatiotemporal bundle adjustment. This algorithm is further made more efficient by a divide and conquer scheme while still maintaining high accuracy. We apply this algorithm to reconstruct 3D motion trajectories of human bodies in dynamic events captured by multiple uncalibrated and unsynchronized video cameras in the wild. To make the reconstruction visually more interpretable, we fit a statistical 3D human body model to the asynchronous video streams.Compared to the baseline, the fitting significantly benefits from the proposed spatiotemporal bundle adjustment procedure. Because the videos are aligned with sub-frame precision, we reconstruct 3D motion at much higher temporal resolution than the input videos.
• Abstract（参考訳）: バンドル調整は、カメラの内在と外在と3Dポイント三角測量を共同で最適化し、静的なシーンを再構築する。 しかし、三角測量の制約は複数の非同期ビデオでキャプチャされた移動ポイントでは無効であり、カメラ間の時間的アライメントを推定するためにバンドル調整は設計されていない。 本稿では,カメラ内在性および外在性の推定,静的3dポイントの三角測量,カメラ間のサブフレームの時間的アライメント,ダイナミックポイントの3次元トラジェクタの計算という,4つの結合サブプロブレムを共同で最適化する時空間バンドル調整フレームワークを提案する。 我々の共同最適化の鍵は、人間の大きなモーションキャプチャーのコーパスで検証された、リコンストラクションパイプライン内の物理ベースの動き優先事項を慎重に統合することである。 我々は,時空間バンドル調整時の動作を厳密に強制するために,漸進的再構成とアライメントアルゴリズムを考案する。 このアルゴリズムは、高い精度を維持しつつ分割と征服のスキームによってさらに効率的になる。 このアルゴリズムを用いて,野生の複数の非共振・非同期ビデオカメラで捉えた動的事象における人体の3次元運動軌跡を再構成する。 視覚的に理解しやすくするために,統計的な3次元人体モデルと非同期映像ストリームを対応付け,ベースラインと比較した。 ビデオはサブフレーム精度に一致しているため、入力ビデオよりも時間分解能の高い3Dモーションを再構成する。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images [12.603775893040972]
  画像のぼやけた画像からリアルタイムレンダリング速度で正確な3Dシーンを再構成するために, 連続的な剛性運動対応ガウススプラッティング(CRiM-GS)を提案する。 我々は、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。 さらに,textitSE(3)フィールドに連続的な変形可能な3次元変換を導入し,剛体変換を実世界の問題に適用する。
  論文  参考訳（メタデータ） (2024-07-04T13:37:04Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• Consistent Depth of Moving Objects in Video [52.72092264848864]
  移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。 我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。 我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
  論文  参考訳（メタデータ） (2021-08-02T20:53:18Z)
• Visual Odometry with an Event Camera Using Continuous Ray Warping and Volumetric Contrast Maximization [31.627936023222052]
  イベントカメラによるトラッキングとマッピングのための新しいソリューションを提案する。 カメラの動きは回転と変換の両方を含み、変位は任意に構造化された環境で起こる。 コントラストを3Dで実現することで,この問題に対する新たな解決法を提案する。 車両搭載イベントカメラによるAGV運動推定と3次元再構成への応用により,本手法の実用的妥当性が裏付けられる。
  論文  参考訳（メタデータ） (2021-07-07T04:32:57Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。