論文の概要: Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond

• arxiv url: http://arxiv.org/abs/2408.04586v1
• Date: Thu, 8 Aug 2024 16:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 14:58:04.785002
• Title: Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond
• Title（参考訳）: ビュー合成のためのサンプリング:局所光場融合からニューラルラジアンス場へ
• Authors: Ravi Ramamoorthi,
• Abstract要約: 局所光電場融合は、サンプルビューの不規則なグリッドから現実的なビュー合成を行うアルゴリズムを提案する。 我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。 スパースおよび単一画像ビュー合成に関する最近の研究結果のいくつかを再現する。
• 参考スコア（独自算出の注目度）: 27.339452004523082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capturing and rendering novel views of complex real-world scenes is a long-standing problem in computer graphics and vision, with applications in augmented and virtual reality, immersive experiences and 3D photography. The advent of deep learning has enabled revolutionary advances in this area, classically known as image-based rendering. However, previous approaches require intractably dense view sampling or provide little or no guidance for how users should sample views of a scene to reliably render high-quality novel views. Local light field fusion proposes an algorithm for practical view synthesis from an irregular grid of sampled views that first expands each sampled view into a local light field via a multiplane image scene representation, then renders novel views by blending adjacent local light fields. Crucially, we extend traditional plenoptic sampling theory to derive a bound that specifies precisely how densely users should sample views of a given scene when using our algorithm. We achieve the perceptual quality of Nyquist rate view sampling while using up to 4000x fewer views. Subsequent developments have led to new scene representations for deep learning with view synthesis, notably neural radiance fields, but the problem of sparse view synthesis from a small number of images has only grown in importance. We reprise some of the recent results on sparse and even single image view synthesis, while posing the question of whether prescriptive sampling guidelines are feasible for the new generation of image-based rendering algorithms.
• Abstract（参考訳）: 複雑な現実世界のシーンの新たなビューのキャプチャとレンダリングは、拡張現実や仮想現実、没入感のある体験、3D写真など、コンピュータグラフィックスとビジョンの長年の問題である。 ディープラーニングの出現は、画像ベースのレンダリングとして知られるこの領域における革命的な進歩を可能にした。 しかし,従来のアプローチでは,高画質の新規ビューを確実にレンダリングするために,ユーザがシーンのビューをサンプリングする方法に関するガイダンスをほとんど,あるいはまったく提供していない。 局所光場融合は、サンプルビューの不規則なグリッドから、まず各サンプルビューを多平面画像シーン表現を介して局所光場に拡張し、隣接する局所光場をブレンドすることで、新しいビューを描画するアルゴリズムを提案する。 重要なことに、我々は従来の複視サンプリング理論を拡張して、アルゴリズムを使用する場合、ユーザがどれだけ密集したシーンのビューをサンプリングすべきかを正確に示す境界を導出する。 我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。 その後、ビュー合成による深層学習(特にニューラルラディアンス場)の新たなシーン表現がもたらされたが、少数の画像からのスパースビュー合成の問題の重要性は増している。 我々は,新しい画像ベースレンダリングアルゴリズムにおいて,規範的サンプリングガイドラインが実現可能かどうかという疑問を呈しながら,スパースやシングルイメージビューの合成に関する最近の結果を再提示する。

関連論文リスト

• CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency [18.101763989542828]
  本稿では,入力ビュー間の奥行き認識一貫性を明確かつ効果的に構築する手法を提案する。 我々の重要な洞察は、同じ空間点を異なる入力ビューで繰り返しサンプリングすることで、ビュー間の相互作用を強化することができるということである。 単純かつ広範な実験により,提案手法は最先端の手法よりも優れた合成品質が得られることを示した。
  論文  参考訳（メタデータ） (2024-02-26T09:04:04Z)
• SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image [60.52991173059486]
  単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。 提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-12T15:33:09Z)
• Remote Sensing Novel View Synthesis with Implicit Multiplane Representations [26.33490094119609]
  暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。 リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。 任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-05-18T13:03:55Z)
• Neural Point Light Fields [80.98651520818785]
  本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。 これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
  論文  参考訳（メタデータ） (2021-12-02T18:20:10Z)
• Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
  コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。 本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-25T16:18:56Z)
• NeLF: Practical Novel View Synthesis with Neural Light Field [93.41020940730915]
  複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。 我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。 インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
  論文  参考訳（メタデータ） (2021-05-15T01:20:30Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。