論文の概要: 3D scene reconstruction from monocular spherical video with motion parallax

• arxiv url: http://arxiv.org/abs/2206.06533v1
• Date: Tue, 14 Jun 2022 00:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 15:31:26.412385
• Title: 3D scene reconstruction from monocular spherical video with motion parallax
• Title（参考訳）: 運動視差を有する単眼球面映像からの3次元シーン再構成
• Authors: Kenji Tanaka
• Abstract要約: 動きパララックスを持つ1つの球面ビデオから隣接する2つのフレームを用いて、ほぼ全球面(360度)の深度情報をキャプチャする手法について述べる。 実験では、深度情報は球全体の97%を固体の角度で取得した。 本手法は,1)フィルムの事前化,位置探索・計画,2)リアルシーン/コンピュータグラフィックス合成,3)モーションキャプチャなど,周囲環境の3次元構造検索に応用できる。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we describe a method to capture nearly entirely spherical (360 degree) depth information using two adjacent frames from a single spherical video with motion parallax. After illustrating a spherical depth information retrieval using two spherical cameras, we demonstrate monocular spherical stereo by using stabilized first-person video footage. Experiments demonstrated that the depth information was retrieved on up to 97% of the entire sphere in solid angle. At a speed of 30 km/h, we were able to estimate the depth of an object located over 30 m from the camera. We also reconstructed the 3D structures (point cloud) using the obtained depth data and confirmed the structures can be clearly observed. We can apply this method to 3D structure retrieval of surrounding environments such as 1) previsualization, location hunting/planning of a film, 2) real scene/computer graphics synthesis and 3) motion capture. Thanks to its simplicity, this method can be applied to various videos. As there is no pre-condition other than to be a 360 video with motion parallax, we can use any 360 videos including those on the Internet to reconstruct the surrounding environments. The cameras can be lightweight enough to be mounted on a drone. We also demonstrated such applications.
• Abstract（参考訳）: 本稿では,動きパララックスを持つ単一球面ビデオから隣接する2つのフレームを用いて,ほぼ全球面(360度)の深度情報をキャプチャする手法について述べる。 2台の球面カメラを用いて球面深度情報検索を行った後、一対一のビデオ映像を用いて単眼球面ステレオを実演する。 実験により、深さ情報は球全体の最大97%の角度で得られた。 30km/hの速度で、カメラから30m以上離れた場所にある物体の深さを推定することができた。 また,得られた深度データを用いて3次元構造(点雲)を再構成し,その構造が明確に観察できることを確認した。 この手法は,周辺環境の3次元構造検索に応用できる。 1)フィルムの事前視認、位置探索・計画 2)実シーン/コンピュータグラフィックス合成と 3) モーションキャプチャー。 そのシンプルさのおかげで、この方法は様々なビデオに適用できる。 モーションパララックス付き360度ビデオ以外は事前条件がないため、インターネットなど360度ビデオを使って周囲の環境を再構築することができる。 カメラは軽量で、ドローンに搭載できる。 このような応用も実証した。

関連論文リスト

• 3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
  本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。 時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。 我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-07T17:59:59Z)
• Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
  長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。 本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:52Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• 3D reconstruction from spherical images: A review of techniques, applications, and prospects [2.6432771146480283]
  3次元再構成は、現代のフォトグラムシステムにおいてますます重要な役割を担っている。 プロ用および消費者向けの球面カメラの急速な進化と広範囲な利用により、球面画像は都市と屋内のシーンの3Dモデリングに大きな可能性を示している。 本研究は,データ取得,特徴検出とマッチング,画像配向,密マッチングの観点から,球面画像の3次元再構成技術の現状を詳細に調査する。
  論文  参考訳（メタデータ） (2023-02-09T08:45:27Z)
• 3D Moments from Near-Duplicate Photos [67.15199743223332]
  3D Momentsは、新しい計算写真効果だ。 1枚目から2枚目までのシーンの動きを円滑に補間するビデオを作成する。 本システムは,モーションパララックスとシーンダイナミックスを併用したフォトリアリスティックな時空ビデオを生成する。
  論文  参考訳（メタデータ） (2022-05-12T17:56:18Z)
• Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth [90.33296913575818]
  映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。 局所重み付き線形回帰法を提案する。 提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:52:54Z)
• HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video [44.58519508310171]
  我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。 提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
  論文  参考訳（メタデータ） (2022-01-11T18:51:21Z)
• Real-time dense 3D Reconstruction from monocular video data captured by low-cost UAVs [0.3867363075280543]
  リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。 ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。 建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
  論文  参考訳（メタデータ） (2021-04-21T13:12:17Z)
• Space-time Neural Irradiance Fields for Free-Viewpoint Video [54.436478702701244]
  本稿では,1つのビデオから動的シーンのニューラル照度場を学習する手法を提案する。 私たちの学習した表現は、入力ビデオのフリービューレンダリングを可能にします。
  論文  参考訳（メタデータ） (2020-11-25T18:59:28Z)
• Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild [3.0015034534260665]
  マルチカメラの精度と滑らかさを考慮したマーカーレスモーションキャプチャ手法を提案する。 提案手法は,各人物の3Dポーズを予測し,マルチカメラ画像のバウンディングボックスを決定する。 提案手法を,様々なデータセットと実スポーツフィールドを用いて評価した。
  論文  参考訳（メタデータ） (2020-01-16T02:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。