論文の概要: Crowdsampling the Plenoptic Function
- arxiv url: http://arxiv.org/abs/2007.15194v1
- Date: Thu, 30 Jul 2020 02:52:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 14:17:23.765633
- Title: Crowdsampling the Plenoptic Function
- Title（参考訳）: 光学関数をサンプリングする群衆
- Authors: Zhengqi Li, Wenqi Xian, Abe Davis, Noah Snavely
- Abstract要約: このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
- 参考スコア（独自算出の注目度）: 56.10020793913216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many popular tourist landmarks are captured in a multitude of online, public
photos. These photos represent a sparse and unstructured sampling of the
plenoptic function for a particular scene. In this paper,we present a new
approach to novel view synthesis under time-varying illumination from such
data. Our approach builds on the recent multi-plane image (MPI) format for
representing local light fields under fixed viewing conditions. We introduce a
new DeepMPI representation, motivated by observations on the sparsity structure
of the plenoptic function, that allows for real-time synthesis of
photorealistic views that are continuous in both space and across changes in
lighting. Our method can synthesize the same compelling parallax and
view-dependent effects as previous MPI methods, while simultaneously
interpolating along changes in reflectance and illumination with time. We show
how to learn a model of these effects in an unsupervised way from an
unstructured collection of photos without temporal registration, demonstrating
significant improvements over recent work in neural rendering. More information
can be found crowdsampling.io.
- Abstract（参考訳）: 多くの人気のある観光名所は、多くのオンライン・パブリック写真に収められている。
これらの写真は、特定のシーンの照度関数のスパースで非構造的なサンプリングを表している。
本稿では,このようなデータからの時間変動照明下での新しい視点合成手法を提案する。
本手法は,最近のマルチプレーン画像(mpi)フォーマットを基盤とし,一定の視聴条件下で局所光野を表現する。
本研究では,plenoptic関数のスパーシティ構造に関する観測結果に動機づけられた新しいdeepmpi表現を導入し,空間と照明変化の両方において連続なフォトリアリスティックなビューをリアルタイムに合成する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
これらの効果のモデルを、時間的登録のない非構造化写真のコレクションから教師なしの方法で学習する方法を示し、近年のニューラルレンダリングよりも大幅に改善されていることを示す。
詳細は crowdsampling.io を参照。
関連論文リスト
- Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond [27.339452004523082]
局所光電場融合は、サンプルビューの不規則なグリッドから現実的なビュー合成を行うアルゴリズムを提案する。
我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。
スパースおよび単一画像ビュー合成に関する最近の研究結果のいくつかを再現する。
論文 参考訳（メタデータ） (2024-08-08T16:56:03Z) - MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。
以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-26T17:53:51Z) - Flying with Photons: Rendering Novel Views of Propagating Light [37.06220870989172]
本稿では,新しい移動カメラの視点から,シーンを通して伝播する光の映像を合成する画像・ニューラルレンダリング技術を提案する。
我々のアプローチは、ピコ秒レベルの時間分解能を持つファースト・オブ・イットタイプの多視点ビデオデータセットをキャプチャするための、新しい超高速撮像装置に依存している。
論文 参考訳（メタデータ） (2024-04-09T17:48:52Z) - SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation
for Novel View Synthesis from a Single Image [60.52991173059486]
単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。
提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
論文 参考訳（メタデータ） (2023-09-12T15:33:09Z) - Neural Scene Chronology [79.51094408119148]
我々は、視点、照明、時間の独立した制御で写真リアルなレンダリングをレンダリングできる、時間変化の3Dモデルを再構築することを目指している。
本研究では,画像ごとの照明を埋め込んだ時空間放射場として,時間的に変化するシーン変化を学習ステップ関数のセットを用いて符号化する。
論文 参考訳（メタデータ） (2023-06-13T17:59:58Z) - Few-shot Neural Radiance Fields Under Unconstrained Illumination [40.384916810850385]
入力された多視点画像と様々な照明条件を限定した実用的な環境下での新規ビューイメージの合成に挑戦する。
このタスクの先駆的な作業の1つであるNeRFは、制約された照明下で撮影された多視点画像の広範なセットを要求する。
我々は,多視点アルベド整合性を利用したExtremeNeRFを提案する。
論文 参考訳（メタデータ） (2023-03-21T10:32:27Z) - SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。
提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
論文 参考訳（メタデータ） (2022-11-21T18:57:47Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。