論文の概要: FWD: Real-time Novel View Synthesis with Forward Warping and Depth

• arxiv url: http://arxiv.org/abs/2206.08355v1
• Date: Thu, 16 Jun 2022 17:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 16:21:14.123070
• Title: FWD: Real-time Novel View Synthesis with Forward Warping and Depth
• Title（参考訳）: FWD:フォワードワープと深さを用いたリアルタイム新しいビュー合成
• Authors: Ang Cao, Chris Rockwell, Justin Johnson
• Abstract要約: 本稿では,FWDと呼ばれるスパース入力を用いた一般化可能なNVS法を提案し,リアルタイムに高品質な合成を実現する。 鮮明な深度と異なるレンダリングにより、130-1000倍のスピードアップと知覚品質の優れた競合結果が得られる。
• 参考スコア（独自算出の注目度）: 18.04922901919622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel view synthesis (NVS) is a challenging task requiring systems to generate photorealistic images of scenes from new viewpoints, where both quality and speed are important for applications. Previous image-based rendering (IBR) methods are fast, but have poor quality when input views are sparse. Recent Neural Radiance Fields (NeRF) and generalizable variants give impressive results but are not real-time. In our paper, we propose a generalizable NVS method with sparse inputs, called FWD, which gives high-quality synthesis in real-time. With explicit depth and differentiable rendering, it achieves competitive results to the SOTA methods with 130-1000x speedup and better perceptual quality. If available, we can seamlessly integrate sensor depth during either training or inference to improve image quality while retaining real-time speed. With the growing prevalence of depths sensors, we hope that methods making use of depth will become increasingly useful.
• Abstract（参考訳）: 新しいビュー合成(NVS)は、アプリケーションにとって品質と速度の両方が重要である新しい視点からシーンの写実的画像を生成するシステムを必要とする課題である。 従来のイメージベースレンダリング(ibr)メソッドは高速だが、入力ビューがスパースする場合は品質が劣る。 最近のneural radiance field (nerf)とgeneralizable variantsは印象的な結果をもたらすが、リアルタイムではない。 本稿では,高品位な合成をリアルタイムに行うために,スパース入力を用いた一般化したnvs法を提案する。 鮮明な深度と異なるレンダリングにより、130-1000倍のスピードアップと知覚品質の優れたSOTA法と競合する結果が得られる。 利用可能であれば、トレーニング中や推論中にセンサーの深度をシームレスに統合して、リアルタイムな速度を維持しながら画質を向上させることができる。 深度センサの普及に伴い、深さを利用した方法がますます有用になることを願っている。

関連論文リスト

• Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
  高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。 EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。 その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T08:16:25Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• Sharp-NeRF: Grid-based Fast Deblurring Neural Radiance Fields Using Sharpness Prior [4.602333448154979]
  Sharp-NeRFは、30分以内のトレーニングで入力されたぼやけた画像からクリーンでシャープな画像をレンダリングするテクニックである。 我々は、ぼやけた画像からなるベンチマーク実験を行い、全参照および非参照メトリクスを評価した。 提案手法では,鮮明な色と細かな細部を持つシャープな新鮮なビューを描画する。
  論文  参考訳（メタデータ） (2024-01-01T17:48:38Z)
• fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations [9.75588035624177]
  新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。 私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。 提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
  論文  参考訳（メタデータ） (2023-12-26T16:24:08Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• DINER: Depth-aware Image-based NEural Radiance fields [45.63488428831042]
  我々はDINER(Depth-aware Image-based NEural Radiance Field)を提案する。 RGB入力ビューの粗いセットが与えられた場合、シーン表現の再構築を導くために深度と特徴マップを予測する。 特徴融合と効率的なシーンサンプリングに深度情報を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T23:22:44Z)
• Dense Depth Priors for Neural Radiance Fields from Sparse Input Views [37.92064060160628]
  そこで本研究では,部屋全体の新しいビューを,桁違いに少ない画像から合成する手法を提案する。 提案手法は,18枚以上の映像をシーン全体に適用して,挑戦的な屋内シーンにおけるデータ効率の高い新規ビュー合成を可能にする。
  論文  参考訳（メタデータ） (2021-12-06T19:00:02Z)
• NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis [28.83180559337126]
  本稿では,高解像度カラー画像とともに,距離関数として3次元シーン形状を復元できる新しいネットワークを提案する。 提案手法では,スパース画像のみを入力として使用し,新規なシーンによく対応できる。
  論文  参考訳（メタデータ） (2021-08-09T08:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。