論文の概要: Novel View Extrapolation with Video Diffusion Priors

• arxiv url: http://arxiv.org/abs/2411.14208v1
• Date: Thu, 21 Nov 2024 15:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:18:57.155736
• Title: Novel View Extrapolation with Video Diffusion Priors
• Title（参考訳）: ビデオ拡散プリミティブを用いた新しいビュー外挿法
• Authors: Kunhao Liu, Ling Shao, Shijian Lu,
• Abstract要約: ViewExtrapolatorは,Stable Video Diffusion (SVD) の生み出した先進的なビュー合成手法である。 ViewExtrapolatorは、単一のビューまたはモノクロビデオしか利用できない場合、ポイントクラウドからレンダリングされたビューなど、さまざまなタイプの3Dレンダリングで動作する。
• 参考スコア（独自算出の注目度）: 98.314893665023
• License:
• Abstract: The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: \url{https://kunhao-liu.github.io/ViewExtrapolator/}.
• Abstract（参考訳）: 新規なビュー合成の分野は、放射場法の発展により大きな進歩を遂げている。 しかし、ほとんどの放射場技術は、観察されたトレーニングビューを超えて合成された新しいビューの外挿よりも、斬新なビュー補間がはるかに優れている。 本研究では,SVD(Stable Video Diffusion)の先駆的な先駆的手法であるViewExtrapolatorを,現実的なビュー外挿のために設計する。 SVDデノナイジングプロセスを再設計することにより、ViewExtrapolatorは、放射場によって描画されるアーティファクト・イン・ビューを洗練し、合成された新規ビューの明確さとリアリズムを大幅に向上させる。 ViewExtrapolatorは、単一のビューまたはモノクロビデオのみが利用可能である場合、ポイントクラウドからレンダリングされたビューなど、さまざまなタイプの3Dレンダリングで動作する、一般的なノベルビュー外挿装置である。 さらに、ViewExtrapolatorはSVDの微調整を必要としないため、データ効率も計算効率も良い。 新しいビュー外挿におけるViewExtrapolatorの優位性を示す実験。 プロジェクトページ: \url{https://kunhao-liu.github.io/ViewExtrapolator/}。

関連論文リスト

• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond [27.339452004523082]
  局所光電場融合は、サンプルビューの不規則なグリッドから現実的なビュー合成を行うアルゴリズムを提案する。 我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。 スパースおよび単一画像ビュー合成に関する最近の研究結果のいくつかを再現する。
  論文  参考訳（メタデータ） (2024-08-08T16:56:03Z)
• SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields [19.740018132105757]
  SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。 推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
  論文  参考訳（メタデータ） (2022-12-05T18:59:57Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• Generalizable Patch-Based Neural Rendering [46.41746536545268]
  未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。 本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。 本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:57:04Z)
• Remote Sensing Novel View Synthesis with Implicit Multiplane Representations [26.33490094119609]
  暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。 リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。 任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-05-18T13:03:55Z)
• Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation [35.47411859184933]
  本研究では,(1)トレーニング画像が対象をうまく表現できる,(2)トレーニング画像とテスト視点の分布との間には顕著な相違点がある,という新しい視点外挿設定について検討する。 ランダムな光線キャスティングポリシーを提案する。 観測された光線の視方向から予め計算された光アトラスは、外挿された視界のレンダリング品質をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-05-12T07:21:17Z)
• NeLF: Practical Novel View Synthesis with Neural Light Field [93.41020940730915]
  複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。 我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。 インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
  論文  参考訳（メタデータ） (2021-05-15T01:20:30Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。