論文の概要: Pseudo-Generalized Dynamic View Synthesis from a Video

• arxiv url: http://arxiv.org/abs/2310.08587v2
• Date: Wed, 17 Jan 2024 23:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 19:57:47.010441
• Title: Pseudo-Generalized Dynamic View Synthesis from a Video
• Title（参考訳）: ビデオからの擬似一般化ダイナミックビュー合成
• Authors: Xiaoming Zhao, Alex Colburn, Fangchang Ma, Miguel Angel Bautista, Joshua M. Susskind, Alexander G. Schwing
• Abstract要約: モノクロビデオで見るシーンを、新しい視点から見るのは、難しい問題だ。 動的シーンにはシーン固有の最適化手法が存在するが、私たちの知る限り、与えられたモノクロビデオから動的新規ビューを合成するための一般化方法が現在存在しない。 シーン固有の外観最適化が不要な擬似一般化プロセスが可能であるが、幾何学的かつ時間的に一貫した深さ推定が必要である。
• 参考スコア（独自算出の注目度）: 91.69845210948566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rendering scenes observed in a monocular video from novel viewpoints is a challenging problem. For static scenes the community has studied both scene-specific optimization techniques, which optimize on every test scene, and generalized techniques, which only run a deep net forward pass on a test scene. In contrast, for dynamic scenes, scene-specific optimization techniques exist, but, to our best knowledge, there is currently no generalized method for dynamic novel view synthesis from a given monocular video. To answer whether generalized dynamic novel view synthesis from monocular videos is possible today, we establish an analysis framework based on existing techniques and work toward the generalized approach. We find a pseudo-generalized process without scene-specific appearance optimization is possible, but geometrically and temporally consistent depth estimates are needed. Despite no scene-specific appearance optimization, the pseudo-generalized approach improves upon some scene-specific methods.
• Abstract（参考訳）: 新たな視点から単眼映像で見るシーンのレンダリングは難しい問題である。 静的なシーンでは、すべてのテストシーンを最適化するシーン固有の最適化テクニックと、テストシーンでディープネットフォワードのみを実行する一般化テクニックの両方を研究した。 対照的に、動的シーンにはシーン固有の最適化技術が存在するが、我々の知る限りでは、与えられた単眼ビデオから動的に新規なビューを合成するための一般的な方法は存在しない。 モノクラービデオから一般化された動的新規ビュー合成が可能かどうかを問うため、既存の技術に基づく分析フレームワークを構築し、一般化されたアプローチに向けた作業を行う。 シーン特有の外観最適化を伴わない擬似一般化プロセスは可能であるが、幾何学的および時間的一貫性のある深さ推定が必要である。 シーン固有の外観最適化はないが、擬似一般化アプローチはシーン固有の方法を改善する。

関連論文リスト

• Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
  モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。 本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-06-13T17:59:11Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based Rendering of Dynamic Scenes [5.118560450410779]
  FlowIBRは、動的シーンを効率よく一眼レフで見るための新しいアプローチである。 これは、広く利用可能な静的シーンの大きなコーパスで事前トレーニングされたニューラルイメージベースのレンダリング方法と、シーンごとの最適化されたシーンフローフィールドを統合する。 提案手法はシーンごとの最適化時間を桁違いに削減し,既存の手法に匹敵するレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2023-09-11T12:35:17Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。