論文の概要: UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
- arxiv url: http://arxiv.org/abs/2306.09349v4
- Date: Tue, 14 Jan 2025 22:05:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-16 15:50:25.515141
- Title: UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
- Title（参考訳）: UrbanIR: ワンビデオによる大規模都市シーンの逆レンダリング
- Authors: Chih-Hao Lin, Bohan Liu, Yi-Ting Chen, Kuan-Sheng Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang,
- Abstract要約: UrbanIRは、1つのビデオで様々な照明条件下でのシーンのリアルで自由視点のレンダリングを可能にする新しい逆グラフィックモデルである。
形状、アルベド、可視性、そして太陽と空の照明は、車載カメラなど、幅広いベースラインのビデオから正確に推測する。
UrbanIRはこれらの問題に、逆グラフィック推論とレンダリングアーティファクトのエラーを減らす新たな損失で対処する。
- 参考スコア（独自算出の注目度）: 22.613946218766802
- License:
- Abstract: We present UrbanIR (Urban Scene Inverse Rendering), a new inverse graphics model that enables realistic, free-viewpoint renderings of scenes under various lighting conditions with a single video. It accurately infers shape, albedo, visibility, and sun and sky illumination from wide-baseline videos, such as those from car-mounted cameras, differing from NeRF's dense view settings. In this context, standard methods often yield subpar geometry and material estimates, such as inaccurate roof representations and numerous 'floaters'. UrbanIR addresses these issues with novel losses that reduce errors in inverse graphics inference and rendering artifacts. Its techniques allow for precise shadow volume estimation in the original scene. The model's outputs support controllable editing, enabling photorealistic free-viewpoint renderings of night simulations, relit scenes, and inserted objects, marking a significant improvement over existing state-of-the-art methods.
- Abstract（参考訳）: Urban Scene Inverse Rendering(Urban Scene Inverse Rendering)は,様々な照明条件下でのシーンのリアルかつ自由視点レンダリングを可能にする,新しい逆グラフィックモデルである。
形状、アルベド、可視性、および太陽と空の照明は、車載カメラなど、NeRFの密集した視界設定とは異なる広いベースラインの映像から正確に推測される。
この文脈では、標準的な手法は、不正確な屋根表現や多数の「フローター」のような、サブパー幾何学と材料推定をしばしば得る。
UrbanIRはこれらの問題に、逆グラフィック推論とレンダリングアーティファクトのエラーを減らす新たな損失で対処する。
その技術により、元のシーンで正確に影の体積を推定できる。
このモデルの出力は、制御可能な編集をサポートし、夜間シミュレーションのフォトリアリスティックな自由視点レンダリング、シーンへの依存、挿入オブジェクトを可能にし、既存の最先端手法よりも大幅に改善されている。
関連論文リスト
- DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models [83.28670336340608]
逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。
本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
論文 参考訳（メタデータ） (2025-01-30T18:59:11Z) - StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models [59.55232046525733]
我々は,LDARポイントクラウドレンダリングをピクセルレベルの条件として利用する,制御可能なビデオ拡散モデルであるStreetCrafterを紹介する。
さらに、画素レベルのLiDAR条件を利用することで、ターゲットシーンに対して正確なピクセルレベルの編集を行うことができる。
我々のモデルは視点変化を柔軟に制御し、レンダリング領域を満たすためのビューを拡大する。
論文 参考訳（メタデータ） (2024-12-17T18:58:55Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Light Field Neural Rendering [47.7586443731997]
幾何再構成に基づく手法はスパースビューのみを必要とするが、非ランベルト効果を正確にモデル化することはできない。
強みを組み合わせたモデルを導入し、これらの2つの方向の制限を緩和する。
我々のモデルは、複数の前方向きデータセットと360degデータセットで最先端のモデルより優れています。
論文 参考訳（メタデータ） (2021-12-17T18:58:05Z) - RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs [79.00855490550367]
我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。
我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。
我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
論文 参考訳（メタデータ） (2021-12-01T18:59:46Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。