論文の概要: ProbNVS: Fast Novel View Synthesis with Learned Probability-Guided Sampling

• arxiv url: http://arxiv.org/abs/2204.03476v1
• Date: Thu, 7 Apr 2022 14:45:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 15:01:32.039432
• Title: ProbNVS: Fast Novel View Synthesis with Learned Probability-Guided Sampling
• Title（参考訳）: ProbNVS:学習確率誘導サンプリングによる高速新規ビュー合成
• Authors: Yuemei Zhou, Tao Yu, Zerong Zheng, Ying Fu, Yebin Liu
• Abstract要約: 本稿では,MVSの事前学習に基づいて,新しいビュー合成フレームワークを構築することを提案する。 本手法は,最先端のベースラインに比べて15～40倍高速なレンダリングを実現する。
• 参考スコア（独自算出の注目度）: 42.37704606186928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing state-of-the-art novel view synthesis methods rely on either fairly accurate 3D geometry estimation or sampling of the entire space for neural volumetric rendering, which limit the overall efficiency. In order to improve the rendering efficiency by reducing sampling points without sacrificing rendering quality, we propose to build a novel view synthesis framework based on learned MVS priors that enables general, fast and photo-realistic view synthesis simultaneously. Specifically, fewer but important points are sampled under the guidance of depth probability distributions extracted from the learned MVS architecture. Based on the learned probability-guided sampling, a neural volume rendering module is elaborately devised to fully aggregate source view information as well as the learned scene structures to synthesize photorealistic target view images. Finally, the rendering results in uncertain, occluded and unreferenced regions can be further improved by incorporating a confidence-aware refinement module. Experiments show that our method achieves 15 to 40 times faster rendering compared to state-of-the-art baselines, with strong generalization capacity and comparable high-quality novel view synthesis performance.
• Abstract（参考訳）: 既存の最先端の新しいビュー合成法は、正確な3次元幾何推定や、全体の効率を抑えるニューラルボリュームレンダリングのための全空間のサンプリングに頼っている。 レンダリング品質を犠牲にすることなく、サンプリングポイントを削減し、レンダリング効率を向上させるために、学習済みのMVS先行データに基づく新しいビュー合成フレームワークを構築することを提案する。 具体的には、学習したMVSアーキテクチャから抽出した深度確率分布のガイダンスに基づいて、少ないが重要な点をサンプリングする。 学習された確率誘導サンプリングに基づいて、ソースビュー情報と学習シーン構造を集約し、フォトリアリスティックなターゲットビュー画像を合成するニューラルネットワークボリュームレンダリングモジュールを精巧に設計する。 最後に、信頼度対応リファインメントモジュールを組み込むことにより、不確実性、オクルード、未参照領域のレンダリング結果をさらに改善することができる。 実験により,提案手法は最先端のベースラインに比べて15～40倍高速なレンダリングを実現し,高い一般化能力と高品質な新規ビュー合成性能を示した。

関連論文リスト

• Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
  高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。 EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。 その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T08:16:25Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• Point-Based Neural Rendering with Per-View Optimization [5.306819482496464]
  入力ビューの空間におけるシーン特性のさらなる最適化を実現するため,MVSを用いた一般的な手法を提案する。 このアプローチの重要な要素は、新しい差別化可能なポイントベースパイプラインです。 私たちはこれらの要素をニューラルネットワークで組み合わせることで、テストしたほぼすべてのシーンにおいて、品質とスピードの両方で従来の方法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-06T11:19:31Z)
• Fast and Explicit Neural View Synthesis [17.811091108978463]
  本研究では,3次元オブジェクトからなるシーンの新規ビュー合成問題について検討する。 連続的でも暗黙的でもない、単純で効果的なアプローチを提案する。 我々のモデルはカテゴリに依存しない方法で訓練されており、シーン固有の最適化を必要としない。
  論文  参考訳（メタデータ） (2021-07-12T23:24:53Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。