論文の概要: Neural Scene Chronology

• arxiv url: http://arxiv.org/abs/2306.07970v1
• Date: Tue, 13 Jun 2023 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 12:15:56.780634
• Title: Neural Scene Chronology
• Title（参考訳）: 神経シーンのクロノロジー
• Authors: Haotong Lin, Qianqian Wang, Ruojin Cai, Sida Peng, Hadar Averbuch-Elor, Xiaowei Zhou, Noah Snavely
• Abstract要約: 我々は、視点、照明、時間の独立した制御で写真リアルなレンダリングをレンダリングできる、時間変化の3Dモデルを再構築することを目指している。 本研究では,画像ごとの照明を埋め込んだ時空間放射場として,時間的に変化するシーン変化を学習ステップ関数のセットを用いて符号化する。
• 参考スコア（独自算出の注目度）: 79.51094408119148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.
• Abstract（参考訳）: 本研究の目的は,大規模ランドマークのインターネット写真から,視点,照明,時刻を独立に制御して,実写的なレンダリングを表現できる時間変化型3dモデルの構築である。 主な課題は2つある。 第一に、照明や背景のシーン自体の変更(グラフィティアートを別のものに置き換えるなど)など、時間的変化の異なるタイプが画像に絡み合わされる。 第二に、シーンレベルの時間的変化はしばしば連続ではなく、時間とともに離散的で散発的である。 これらの問題に対処するため、時間とともにシーンレベルの個別なコンテンツ変化を断片的一定関数としてモデル化できる、新しい時間ステップ関数符号化方式を備えたシーン表現を提案する。 具体的には、画像ごとの照明を埋め込んだ時空間放射場として、時間的に変化するシーン変化を一連の学習ステップ関数を用いて符号化する。 インターネット画像から時系列を復元する作業を容易にするため,時間とともに変化する4つのシーンのデータセットも収集した。 本手法は, 視点, 時間, 照明を独立に制御しながら, 最先端のビュー合成結果を示すことを実証する。

関連論文リスト

• LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
  運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。 我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。 CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2023-04-06T17:59:25Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
  コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。 本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-25T16:18:56Z)
• Unconstrained Scene Generation with Locally Conditioned Radiance Fields [24.036609880683585]
  シーンを局所的な放射領域の集合体に分解することを学ぶGenerative Scene Networks(GSN)を紹介します。 私たちのモデルは、新しいシーンの生成や、スパースな2d観察のみのシーンの完了に先立って使用することが可能です。
  論文  参考訳（メタデータ） (2021-04-01T17:58:26Z)
• Learning to Factorize and Relight a City [70.81496092672421]
  本研究では,屋外のシーンを時間的に異なる照明と永続的なシーン要素に遠ざけるための学習ベースのフレームワークを提案する。 照明効果やシーン形状の変化など,新しい画像のリアルな操作には,学習した不整合因子が有効であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:59:54Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。