論文の概要: UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
- arxiv url: http://arxiv.org/abs/2306.09349v2
- Date: Fri, 16 Jun 2023 02:41:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 10:42:28.121765
- Title: UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
- Title(参考訳): UrbanIR: ワンビデオによる大規模都市シーンの逆レンダリング
- Authors: Zhi-Hao Lin, Bohan Liu, Yi-Ting Chen, David Forsyth, Jia-Bin Huang,
Anand Bhattad, Shenlong Wang
- Abstract要約: 映像からの新たな照明条件下でシーンのリアルで自由視点のレンダリングを可能にするモデルを構築する方法について述べる。
我々の手法 - UrbanIR: Urban Scene Inverse Rendering - はビデオから逆グラフィック表現を計算する。
- 参考スコア(独自算出の注目度): 49.564137095108734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show how to build a model that allows realistic, free-viewpoint renderings
of a scene under novel lighting conditions from video. Our method -- UrbanIR:
Urban Scene Inverse Rendering -- computes an inverse graphics representation
from the video. UrbanIR jointly infers shape, albedo, visibility, and sun and
sky illumination from a single video of unbounded outdoor scenes with unknown
lighting. UrbanIR uses videos from cameras mounted on cars (in contrast to many
views of the same points in typical NeRF-style estimation). As a result,
standard methods produce poor geometry estimates (for example, roofs), and
there are numerous ''floaters''. Errors in inverse graphics inference can
result in strong rendering artifacts. UrbanIR uses novel losses to control
these and other sources of error. UrbanIR uses a novel loss to make very good
estimates of shadow volumes in the original scene. The resulting
representations facilitate controllable editing, delivering photorealistic
free-viewpoint renderings of relit scenes and inserted objects. Qualitative
evaluation demonstrates strong improvements over the state-of-the-art.
- Abstract(参考訳): 映像から新しい照明条件下でのシーンのリアルなフリー視点レンダリングを可能にするモデルの構築方法を示す。
我々の手法 - UrbanIR: Urban Scene Inverse Rendering - はビデオから逆グラフィック表現を計算する。
urbanirは、未公開の屋外シーンの1つの映像から、形状、アルベド、視認性、太陽と空の照明を共同で推測する。
UrbanIRは、車に搭載されたカメラのビデオを使用する(典型的なNeRFスタイルの見積もりでは、同じ点の多くのビューとは対照的に)。
その結果、標準的な手法では幾何的な推定が貧弱であり(例えば屋根)、'floaters' が多数存在する。
逆グラフィックス推論のエラーは強いレンダリングアーティファクトをもたらす可能性がある。
UrbanIRはこれらや他のエラーの原因を制御するために、新しい損失を使用する。
UrbanIRは、オリジナルのシーンにおける影のボリュームを非常によく見積もるために、新しい損失を使用する。
結果として得られる表現は、コントロール可能な編集を容易にし、信頼されたシーンと挿入されたオブジェクトのフォトリアリスティックな自由視点レンダリングを提供する。
質的評価は最先端よりも強力な改善を示している。
関連論文リスト
- Sat2Scene: 3D Urban Scene Generation from Satellite Images with
Diffusion [82.97474530980999]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳(メタデータ) (2024-01-19T16:15:37Z) - The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel
Constrained Illumination Prior and Outside-In Visibility [20.17613336050339]
制約のない画像コレクションからの屋外シーンの逆レンダリングは難しい課題である。
我々は、どんなスカイピクセルでも、遠方からの光を直接測定できるという事実を生かしている。
また、異なる空の可視性を計算するための新しいout-in'手法も導入する。
論文 参考訳(メタデータ) (2023-11-28T16:39:49Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。
古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。
我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
論文 参考訳(メタデータ) (2023-03-10T09:28:09Z) - RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs [79.00855490550367]
我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。
我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。
我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-12-01T18:59:46Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - DVI: Depth Guided Video Inpainting for Autonomous Driving [35.94330601020169]
本稿では,ビデオからトラヒックエージェントを除去する自動インペイントアルゴリズムを提案する。
縫合された点雲から密集した3Dマップを構築することで、ビデオ内のフレームは幾何学的に相関する。
われわれは、ビデオのインペイントのために複数のビデオを融合した最初の人物だ。
論文 参考訳(メタデータ) (2020-07-17T09:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。