論文の概要: fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations

• arxiv url: http://arxiv.org/abs/2312.16109v1
• Date: Tue, 26 Dec 2023 16:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 14:46:00.464179
• Title: fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations
• Title（参考訳）: fMPI: 層状シーン表現を持つ野生における高速な新しいビュー合成
• Authors: Jonas Kohler, Nicolas Griffiths Sanchez, Luca Cavalli, Catherine Herold, Albert Pumarola, Alberto Garcia Garcia, Ali Thabet
• Abstract要約: 新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。 私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。 提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
• 参考スコア（独自算出の注目度）: 9.75588035624177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we propose two novel input processing paradigms for novel view synthesis (NVS) methods based on layered scene representations that significantly improve their runtime without compromising quality. Our approach identifies and mitigates the two most time-consuming aspects of traditional pipelines: building and processing the so-called plane sweep volume (PSV), which is a high-dimensional tensor of planar re-projections of the input camera views. In particular, we propose processing this tensor in parallel groups for improved compute efficiency as well as super-sampling adjacent input planes to generate denser, and hence more accurate scene representation. The proposed enhancements offer significant flexibility, allowing for a balance between performance and speed, thus making substantial steps toward real-time applications. Furthermore, they are very general in the sense that any PSV-based method can make use of them, including methods that employ multiplane images, multisphere images, and layered depth images. In a comprehensive set of experiments, we demonstrate that our proposed paradigms enable the design of an NVS method that achieves state-of-the-art on public benchmarks while being up to $50x$ faster than existing state-of-the-art methods. It also beats the current forerunner in terms of speed by over $3x$, while achieving significantly better rendering quality.
• Abstract（参考訳）: 本研究では,階層化されたシーン表現に基づく新しいビュー合成(nvs)手法のための2つの新しい入力処理パラダイムを提案する。 提案手法は、入力カメラビューの平面再投影の高次元テンソルである、いわゆる平面スイープボリューム(PSV)の構築と処理という、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和する。 特に,このテンソルを並列グループで処理することで計算効率を向上し,隣接する入力平面をスーパーサンプリングすることでより高密度なシーン表現を実現する。 提案された拡張は、大幅な柔軟性を提供し、パフォーマンスとスピードのバランスを保ち、リアルタイムアプリケーションに向けて大きな一歩を踏み出すことができる。 さらに、多面体画像、多球面画像、層状深度画像など、PSVベースの手法でも利用できるという意味では、非常に一般的なものである。 総合的な実験において,提案手法は,既存の最先端手法よりも50倍高速で,公開ベンチマーク上で最先端を実現するNVS手法の設計を可能にすることを実証した。 また、現在のforerunnerを3倍以上のスピードで上回り、レンダリングのクオリティも大幅に向上している。

関連論文リスト

• DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
  新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。 大規模な環境下では、復元の質が悪くなる場合が少なくない。 本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:51:44Z)
• Novel View Synthesis with Pixel-Space Diffusion Models [4.844800099745365]
  新規ビュー合成(NVS)に遺伝子モデルがますます採用されている 画素空間における終端NVSに対して,現代的な拡散モデルアーキテクチャを適用した。 単視点データセットを利用した新しいNVSトレーニングスキームを導入し,その相対的多元性に着目した。
  論文  参考訳（メタデータ） (2024-11-12T12:58:33Z)
• Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
  高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。 EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。 その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T08:16:25Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment [91.38256332633544]
  PASTAは、HDRデゴスティングのためのプログレッシブアグリゲーションアグリゲーション・時空間アライメントフレームワークである。 提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。 実験結果から,従来のSOTA法よりもPASTAの方が視覚的品質と性能の両方で優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-15T15:05:29Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation [45.11207941777178]
  本稿では,ハンドヘルドカメラが捉えたバースト内の画像の微細なアライメントに対する新しいアプローチを提案する。 提案アルゴリズムは、各画素におけるカメラの動きと表面の深さと向きの両方を最適化することにより、密度の高い対応性を確立する。
  論文  参考訳（メタデータ） (2023-12-08T17:22:04Z)
• Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
  シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。 当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
  論文  参考訳（メタデータ） (2023-10-04T17:57:07Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。