論文の概要: Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths
from a Monocular Camera
- arxiv url: http://arxiv.org/abs/2004.01294v1
- Date: Thu, 2 Apr 2020 22:45:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 13:05:51.995305
- Title: Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths
from a Monocular Camera
- Title（参考訳）: モノクラーカメラからのグローバルコヒーレント深度を用いた動的シーンの新しい視点合成
- Authors: Jae Shin Yoon, Kihwan Kim, Orazio Gallo, Hyun Soo Park, Jan Kautz
- Abstract要約: 本稿では,動的シーンの画像のコレクションを与えられた任意のビューや時間から画像を合成する新しい手法を提案する。
新しいビュー合成の鍵となる課題は、エピポーラ幾何学が動的コンテンツの局所的な動きに適用できない動的なシーン再構成から生じる。
この課題に対処するために、DSVが完成しているマルチビューステレオ(DMV)からの深度と深度を組み合わせることを提案する。
- 参考スコア（独自算出の注目度）: 93.04135520894631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a new method to synthesize an image from arbitrary views
and times given a collection of images of a dynamic scene. A key challenge for
the novel view synthesis arises from dynamic scene reconstruction where
epipolar geometry does not apply to the local motion of dynamic contents. To
address this challenge, we propose to combine the depth from single view (DSV)
and the depth from multi-view stereo (DMV), where DSV is complete, i.e., a
depth is assigned to every pixel, yet view-variant in its scale, while DMV is
view-invariant yet incomplete. Our insight is that although its scale and
quality are inconsistent with other views, the depth estimation from a single
view can be used to reason about the globally coherent geometry of dynamic
contents. We cast this problem as learning to correct the scale of DSV, and to
refine each depth with locally consistent motions between views to form a
coherent depth estimation. We integrate these tasks into a depth fusion network
in a self-supervised fashion. Given the fused depth maps, we synthesize a
photorealistic virtual view in a specific location and time with our deep
blending network that completes the scene and renders the virtual view. We
evaluate our method of depth estimation and view synthesis on diverse
real-world dynamic scenes and show the outstanding performance over existing
methods.
- Abstract（参考訳）: 本稿では,動的シーンの画像のコレクションを与えられた任意のビューや時間から画像を合成する新しい手法を提案する。
新しいビュー合成の鍵となる課題は、エピポーラ幾何学が動的コンテンツの局所的な動きに適用できない動的なシーン再構成から生じる。
この課題に対処するために,dmvはビュー不変であるのに対し,dmvはビュー不変であるのに対し,dsvはすべてのピクセルに深さが割り当てられている,しかしそのスケールではビュー不変である,マルチビューステレオ(dmv)からの深さと深さを組み合わせることを提案する。
我々の洞察では、そのスケールと品質は他のビューと矛盾するが、単一のビューからの深さ推定は、動的コンテンツのグローバルなコヒーレントな幾何学の推論に利用できる。
我々は,この問題をDSVのスケールを補正し,各深度を局所的に一貫した動きで洗練し,コヒーレントな深度推定を行う学習として捉えた。
我々は,これらのタスクを自己監視方式で深層融合ネットワークに統合する。
融合した深度マップから特定の場所と時間におけるフォトリアリスティックな仮想ビューを、シーンを完了して仮想ビューをレンダリングするディープブレンディングネットワークで合成する。
実世界の動的シーンにおける深度推定とビュー合成の手法を評価し,既存の手法よりも優れた性能を示す。
関連論文リスト
- Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering [4.717325308876748]
本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。
我々は、位相的に完全だが計量的に不正確な深度マップを生成する単眼深度推定の進歩を活用する。
提案手法は,高密度で詳細で高品質な深度マップを作成でき,また屋内シナリオの挑戦も可能であり,最先端の深度復元手法よりも優れている。
論文 参考訳（メタデータ） (2024-10-04T18:50:28Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - DeLiRa: Self-Supervised Depth, Light, and Radiance Fields [32.350984950639656]
可変ボリュームレンダリングは、3次元再構成と新しいビュー合成のための強力なパラダイムである。
標準的なボリュームレンダリングアプローチは、視点の多様性が限られている場合、縮退したジオメトリーと競合する。
本研究では,多視点測光目標を体積レンダリングのための幾何正則化器として用いることを提案する。
論文 参考訳（メタデータ） (2023-04-06T00:16:25Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z) - Inter-View Depth Consistency Testing in Depth Difference Subspace [6.205922305859478]
マルチビュー深度画像は、自由視点テレビにおいて重要な役割を果たす。
本稿では,深度差分空間における深度整合性試験法を提案する。
また,得られた一貫性情報を用いて仮想ビューの視覚的品質を向上させるビュー合成アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-27T18:43:38Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes [68.38952377590499]
複雑な屋内環境の中を移動する単眼カメラから奥行きを推定するための新しい手法を提案する。
提案手法は,静的な背景と複数の移動する人物からなるシーン全体にわたる絶対規模の深度マップを推定する。
論文 参考訳（メタデータ） (2021-08-12T09:12:39Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。