論文の概要: Crowdsampling the Plenoptic Function
- arxiv url: http://arxiv.org/abs/2007.15194v1
- Date: Thu, 30 Jul 2020 02:52:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 14:17:23.765633
- Title: Crowdsampling the Plenoptic Function
- Title(参考訳): 光学関数をサンプリングする群衆
- Authors: Zhengqi Li, Wenqi Xian, Abe Davis, Noah Snavely
- Abstract要約: このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
- 参考スコア(独自算出の注目度): 56.10020793913216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many popular tourist landmarks are captured in a multitude of online, public
photos. These photos represent a sparse and unstructured sampling of the
plenoptic function for a particular scene. In this paper,we present a new
approach to novel view synthesis under time-varying illumination from such
data. Our approach builds on the recent multi-plane image (MPI) format for
representing local light fields under fixed viewing conditions. We introduce a
new DeepMPI representation, motivated by observations on the sparsity structure
of the plenoptic function, that allows for real-time synthesis of
photorealistic views that are continuous in both space and across changes in
lighting. Our method can synthesize the same compelling parallax and
view-dependent effects as previous MPI methods, while simultaneously
interpolating along changes in reflectance and illumination with time. We show
how to learn a model of these effects in an unsupervised way from an
unstructured collection of photos without temporal registration, demonstrating
significant improvements over recent work in neural rendering. More information
can be found crowdsampling.io.
- Abstract(参考訳): 多くの人気のある観光名所は、多くのオンライン・パブリック写真に収められている。
これらの写真は、特定のシーンの照度関数のスパースで非構造的なサンプリングを表している。
本稿では,このようなデータからの時間変動照明下での新しい視点合成手法を提案する。
本手法は,最近のマルチプレーン画像(mpi)フォーマットを基盤とし,一定の視聴条件下で局所光野を表現する。
本研究では,plenoptic関数のスパーシティ構造に関する観測結果に動機づけられた新しいdeepmpi表現を導入し,空間と照明変化の両方において連続なフォトリアリスティックなビューをリアルタイムに合成する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
これらの効果のモデルを、時間的登録のない非構造化写真のコレクションから教師なしの方法で学習する方法を示し、近年のニューラルレンダリングよりも大幅に改善されていることを示す。
詳細は crowdsampling.io を参照。
関連論文リスト
- SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation
for Novel View Synthesis from a Single Image [60.52991173059486]
単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。
提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
論文 参考訳(メタデータ) (2023-09-12T15:33:09Z) - Neural Scene Chronology [79.51094408119148]
我々は、視点、照明、時間の独立した制御で写真リアルなレンダリングをレンダリングできる、時間変化の3Dモデルを再構築することを目指している。
本研究では,画像ごとの照明を埋め込んだ時空間放射場として,時間的に変化するシーン変化を学習ステップ関数のセットを用いて符号化する。
論文 参考訳(メタデータ) (2023-06-13T17:59:58Z) - Few-shot Neural Radiance Fields Under Unconstrained Illumination [40.384916810850385]
入力された多視点画像と様々な照明条件を限定した実用的な環境下での新規ビューイメージの合成に挑戦する。
このタスクの先駆的な作業の1つであるNeRFは、制約された照明下で撮影された多視点画像の広範なセットを要求する。
我々は,多視点アルベド整合性を利用したExtremeNeRFを提案する。
論文 参考訳(メタデータ) (2023-03-21T10:32:27Z) - SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。
提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
論文 参考訳(メタデータ) (2022-11-21T18:57:47Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳(メタデータ) (2022-07-27T16:07:48Z) - Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using
Transformer Networks [23.6427456783115]
本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。
ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。
画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
論文 参考訳(メタデータ) (2022-02-18T14:11:16Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳(メタデータ) (2021-11-29T15:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。