論文の概要: fMPI: Fast Novel View Synthesis in the Wild with Layered Scene
Representations
- arxiv url: http://arxiv.org/abs/2312.16109v1
- Date: Tue, 26 Dec 2023 16:24:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 14:46:00.464179
- Title: fMPI: Fast Novel View Synthesis in the Wild with Layered Scene
Representations
- Title(参考訳): fMPI: 層状シーン表現を持つ野生における高速な新しいビュー合成
- Authors: Jonas Kohler, Nicolas Griffiths Sanchez, Luca Cavalli, Catherine
Herold, Albert Pumarola, Alberto Garcia Garcia, Ali Thabet
- Abstract要約: 新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。
私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。
提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
- 参考スコア(独自算出の注目度): 9.75588035624177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we propose two novel input processing paradigms for novel view
synthesis (NVS) methods based on layered scene representations that
significantly improve their runtime without compromising quality. Our approach
identifies and mitigates the two most time-consuming aspects of traditional
pipelines: building and processing the so-called plane sweep volume (PSV),
which is a high-dimensional tensor of planar re-projections of the input camera
views. In particular, we propose processing this tensor in parallel groups for
improved compute efficiency as well as super-sampling adjacent input planes to
generate denser, and hence more accurate scene representation. The proposed
enhancements offer significant flexibility, allowing for a balance between
performance and speed, thus making substantial steps toward real-time
applications. Furthermore, they are very general in the sense that any
PSV-based method can make use of them, including methods that employ multiplane
images, multisphere images, and layered depth images. In a comprehensive set of
experiments, we demonstrate that our proposed paradigms enable the design of an
NVS method that achieves state-of-the-art on public benchmarks while being up
to $50x$ faster than existing state-of-the-art methods. It also beats the
current forerunner in terms of speed by over $3x$, while achieving
significantly better rendering quality.
- Abstract(参考訳): 本研究では,階層化されたシーン表現に基づく新しいビュー合成(nvs)手法のための2つの新しい入力処理パラダイムを提案する。
提案手法は、入力カメラビューの平面再投影の高次元テンソルである、いわゆる平面スイープボリューム(PSV)の構築と処理という、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和する。
特に,このテンソルを並列グループで処理することで計算効率を向上し,隣接する入力平面をスーパーサンプリングすることでより高密度なシーン表現を実現する。
提案された拡張は、大幅な柔軟性を提供し、パフォーマンスとスピードのバランスを保ち、リアルタイムアプリケーションに向けて大きな一歩を踏み出すことができる。
さらに、多面体画像、多球面画像、層状深度画像など、PSVベースの手法でも利用できるという意味では、非常に一般的なものである。
総合的な実験において,提案手法は,既存の最先端手法よりも50倍高速で,公開ベンチマーク上で最先端を実現するNVS手法の設計を可能にすることを実証した。
また、現在のforerunnerを3倍以上のスピードで上回り、レンダリングのクオリティも大幅に向上している。
関連論文リスト
- Spatially-Attentive Patch-Hierarchical Network with Adaptive Sampling
for Motion Deblurring [34.751361664891235]
そこで本稿では,異なる空間領域にまたがる大きなぼやけた変化を扱うために,画素適応化と特徴注意設計を提案する。
提案手法は,最先端のデブロワーリングアルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2024-02-09T01:00:09Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳(メタデータ) (2023-12-24T08:42:37Z) - Fine Dense Alignment of Image Bursts through Camera Pose and Depth
Estimation [45.11207941777178]
本稿では,ハンドヘルドカメラが捉えたバースト内の画像の微細なアライメントに対する新しいアプローチを提案する。
提案アルゴリズムは、各画素におけるカメラの動きと表面の深さと向きの両方を最適化することにより、密度の高い対応性を確立する。
論文 参考訳(メタデータ) (2023-12-08T17:22:04Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳(メタデータ) (2023-11-30T10:36:19Z) - Efficient-3DiM: Learning a Generalizable Single-image Novel-view
Synthesizer in One Day [63.96075838322437]
シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。
当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
論文 参考訳(メタデータ) (2023-10-04T17:57:07Z) - Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple
Scale Neural Radiance Field Rendering [3.8200916793910973]
ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。
しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。
本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
論文 参考訳(メタデータ) (2023-10-03T08:34:49Z) - Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。
本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。
合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-03T06:32:55Z) - Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。
我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。
ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
論文 参考訳(メタデータ) (2022-05-28T04:36:13Z) - NPBG++: Accelerating Neural Point-Based Graphics [14.366073496519139]
NPBG++は、シーンフィッティング時間の少ない高レンダリングリアリズムを実現する新しいビュー合成(NVS)タスクである。
本手法は,静的シーンのマルチビュー観測と点雲を効率よく利用し,各点のニューラルディスクリプタを予測する。
比較において、提案システムは、類似した画質の画像を生成しながら、ランタイムの適合とレンダリングの観点から、従来のNVSアプローチよりも優れていた。
論文 参考訳(メタデータ) (2022-03-24T19:59:39Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳(メタデータ) (2021-05-01T14:32:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。