論文の概要: Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild

• arxiv url: http://arxiv.org/abs/2007.12806v1
• Date: Fri, 24 Jul 2020 23:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 06:57:32.732859
• Title: Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild
• Title（参考訳）: 野生における動的3次元ヒト再建のための時空間束調整
• Authors: Minh Vo, Yaser Sheikh, and Srinivasa G. Narasimhan
• Abstract要約: 本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。 複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
• 参考スコア（独自算出の注目度）: 49.672487902268706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bundle adjustment jointly optimizes camera intrinsics and extrinsics and 3D point triangulation to reconstruct a static scene. The triangulation constraint, however, is invalid for moving points captured in multiple unsynchronized videos and bundle adjustment is not designed to estimate the temporal alignment between cameras. We present a spatiotemporal bundle adjustment framework that jointly optimizes four coupled sub-problems: estimating camera intrinsics and extrinsics, triangulating static 3D points, as well as sub-frame temporal alignment between cameras and computing 3D trajectories of dynamic points. Key to our joint optimization is the careful integration of physics-based motion priors within the reconstruction pipeline, validated on a large motion capture corpus of human subjects. We devise an incremental reconstruction and alignment algorithm to strictly enforce the motion prior during the spatiotemporal bundle adjustment. This algorithm is further made more efficient by a divide and conquer scheme while still maintaining high accuracy. We apply this algorithm to reconstruct 3D motion trajectories of human bodies in dynamic events captured by multiple uncalibrated and unsynchronized video cameras in the wild. To make the reconstruction visually more interpretable, we fit a statistical 3D human body model to the asynchronous video streams.Compared to the baseline, the fitting significantly benefits from the proposed spatiotemporal bundle adjustment procedure. Because the videos are aligned with sub-frame precision, we reconstruct 3D motion at much higher temporal resolution than the input videos.
• Abstract（参考訳）: バンドル調整は、カメラの内在と外在と3Dポイント三角測量を共同で最適化し、静的なシーンを再構築する。 しかし、三角測量の制約は複数の非同期ビデオでキャプチャされた移動ポイントでは無効であり、カメラ間の時間的アライメントを推定するためにバンドル調整は設計されていない。 本稿では,カメラ内在性および外在性の推定,静的3dポイントの三角測量,カメラ間のサブフレームの時間的アライメント,ダイナミックポイントの3次元トラジェクタの計算という,4つの結合サブプロブレムを共同で最適化する時空間バンドル調整フレームワークを提案する。 我々の共同最適化の鍵は、人間の大きなモーションキャプチャーのコーパスで検証された、リコンストラクションパイプライン内の物理ベースの動き優先事項を慎重に統合することである。 我々は,時空間バンドル調整時の動作を厳密に強制するために,漸進的再構成とアライメントアルゴリズムを考案する。 このアルゴリズムは、高い精度を維持しつつ分割と征服のスキームによってさらに効率的になる。 このアルゴリズムを用いて,野生の複数の非共振・非同期ビデオカメラで捉えた動的事象における人体の3次元運動軌跡を再構成する。 視覚的に理解しやすくするために,統計的な3次元人体モデルと非同期映像ストリームを対応付け,ベースラインと比較した。 ビデオはサブフレーム精度に一致しているため、入力ビデオよりも時間分解能の高い3Dモーションを再構成する。

関連論文リスト

• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• Consistent Depth of Moving Objects in Video [52.72092264848864]
  移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。 我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。 我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
  論文  参考訳（メタデータ） (2021-08-02T20:53:18Z)
• Visual Odometry with an Event Camera Using Continuous Ray Warping and Volumetric Contrast Maximization [31.627936023222052]
  イベントカメラによるトラッキングとマッピングのための新しいソリューションを提案する。 カメラの動きは回転と変換の両方を含み、変位は任意に構造化された環境で起こる。 コントラストを3Dで実現することで,この問題に対する新たな解決法を提案する。 車両搭載イベントカメラによるAGV運動推定と3次元再構成への応用により,本手法の実用的妥当性が裏付けられる。
  論文  参考訳（メタデータ） (2021-07-07T04:32:57Z)
• Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
  本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。 ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。 オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
  論文  参考訳（メタデータ） (2020-04-20T13:59:46Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。