論文の概要: Depth-Guided Sparse Structure-from-Motion for Movies and TV Shows
- arxiv url: http://arxiv.org/abs/2204.02509v1
- Date: Tue, 5 Apr 2022 22:19:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 01:49:00.835442
- Title: Depth-Guided Sparse Structure-from-Motion for Movies and TV Shows
- Title（参考訳）: 映画・テレビ番組の奥行き誘導スパース構造
- Authors: Sheng Liu, Xiaohan Nie, Raffay Hamid
- Abstract要約: 既存のStructure from Motion (SfM) のアプローチでは、印象的な3次元再構成結果が得られる。
ビデオフレーム間の小さな運動パララックスにより、標準的な幾何学に基づくSfMアプローチは、映画やテレビ番組ほど効果的ではない。
プレトレーニングネットワークから得られる単一フレーム深度優先手法を用いて,小パララックス設定のための幾何ベースのSfMを大幅に改善する,単純かつ効果的な手法を提案する。
- 参考スコア（独自算出の注目度）: 7.260206839895713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing approaches for Structure from Motion (SfM) produce impressive 3-D
reconstruction results especially when using imagery captured with large
parallax. However, to create engaging video-content in movies and TV shows, the
amount by which a camera can be moved while filming a particular shot is often
limited. The resulting small-motion parallax between video frames makes
standard geometry-based SfM approaches not as effective for movies and TV
shows. To address this challenge, we propose a simple yet effective approach
that uses single-frame depth-prior obtained from a pretrained network to
significantly improve geometry-based SfM for our small-parallax setting. To
this end, we first use the depth-estimates of the detected keypoints to
reconstruct the point cloud and camera-pose for initial two-view
reconstruction. We then perform depth-regularized optimization to register new
images and triangulate the new points during incremental reconstruction. To
comprehensively evaluate our approach, we introduce a new dataset (StudioSfM)
consisting of 130 shots with 21K frames from 15 studio-produced videos that are
manually annotated by a professional CG studio. We demonstrate that our
approach: (a) significantly improves the quality of 3-D reconstruction for our
small-parallax setting, (b) does not cause any degradation for data with
large-parallax, and (c) maintains the generalizability and scalability of
geometry-based sparse SfM. Our dataset can be obtained at
https://github.com/amazon-research/small-baseline-camera-tracking.
- Abstract（参考訳）: structure from motion(sfm)の既存のアプローチは、特に大きな視差で撮影された画像を用いて、印象的な3次元再構成結果を生成する。
しかし、映画やテレビ番組で魅力的な映像コンテンツを作成するには、特定の撮影を撮影しながらカメラを移動できる量は限られることが多い。
ビデオフレーム間の小さな動きのパララックスによって、標準的な幾何学ベースのSfMアプローチは、映画やテレビ番組ほど効果的ではない。
この課題に対処するために,プレトレーニングネットワークから得られた単一フレーム深度優先手法を用いて,小パララックス設定のための幾何ベースのSfMを大幅に改善する,単純かつ効果的なアプローチを提案する。
この目的のために,検出したキーポイントの深さ推定値を用いて点雲とカメラ位置を復元し,最初の2視点再構成を行う。
次に,新たなイメージを登録し,インクリメンタルな再構成を行うために,深度調整最適化を行う。
アプローチを総合的に評価するために,プロのCGスタジオが手動で注釈付けした15のスタジオ制作ビデオから,130枚のショットと21Kフレームからなる新しいデータセット(StudioSfM)を導入する。
私たちのアプローチを例示します。
a)小視差設定における3次元再構成の質を著しく向上させる。
(b)大視差を伴うデータの劣化を起こさず、
(c) 幾何学に基づくスパースSfMの一般化性と拡張性を維持する。
データセットはhttps://github.com/amazon-research/small-baseline-camera-trackingで取得できます。
関連論文リスト
- Visual Geometry Grounded Deep Structure From Motion [20.203320509695306]
本稿では,各コンポーネントが完全に微分可能で,エンドツーエンドでトレーニング可能な,新しいディープパイプラインVGGSfMを提案する。
まず, 深部2次元点追跡の最近の進歩をベースとして, 画素精度の高いトラックを抽出し, ペアマッチングのチェーン化の必要性を解消する。
私たちは、CO3D、IMC Phototourism、ETH3Dという3つの一般的なデータセットで最先端のパフォーマンスを達成しました。
論文 参考訳（メタデータ） (2023-12-07T18:59:52Z) - Dense Voxel 3D Reconstruction Using a Monocular Event Camera [5.599072208069752]
イベントカメラは、従来のフレームベースのカメラよりも多くの利点がある。
それらのVRアプリケーションのための3D再構成の応用は、あまり研究されていない。
単一イベントカメラのみを用いた高密度3次元再構成手法を提案する。
論文 参考訳（メタデータ） (2023-09-01T10:46:57Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using
Single-View Depth and Gradient Predictions [22.243043857097582]
DeepFusionは、GPU上でリアルタイムに高密度な再構成を生成することができる。
半密度多視点ステレオアルゴリズムの出力とCNNの深さと予測を確率的に融合する。
合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを実証する。
論文 参考訳（メタデータ） (2022-07-25T14:55:26Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳（メタデータ） (2022-02-03T08:52:54Z) - Pixel-Perfect Structure-from-Motion with Featuremetric Refinement [96.73365545609191]
複数視点からの低レベル画像情報を直接アライメントすることで、動きからの2つの重要なステップを洗練する。
これにより、様々なキーポイント検出器のカメラポーズとシーン形状の精度が大幅に向上する。
本システムは,大規模な画像コレクションに容易にスケールできるので,クラウドソースによる大規模なローカライゼーションを実現することができる。
論文 参考訳（メタデータ） (2021-08-18T17:58:55Z) - Vid2Curve: Simultaneous Camera Motion Estimation and Thin Structure
Reconstruction from an RGB Video [90.93141123721713]
ワイヤーフレーム彫刻、フェンス、ケーブル、電力線、木の枝などの細い構造は現実世界では一般的である。
従来の画像ベースや深度ベースの再構築手法を用いて3Dデジタルモデルを入手することは極めて困難である。
ハンドヘルドカメラで撮影したカラービデオから,カメラの動きを同時に推定し,複雑な3次元薄膜構造の形状を高品質に再構成する手法を提案する。
論文 参考訳（メタデータ） (2020-05-07T10:39:20Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳（メタデータ） (2020-04-30T17:59:26Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。