論文の概要: UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video

• arxiv url: http://arxiv.org/abs/2306.09349v4
• Date: Tue, 14 Jan 2025 22:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:50:25.515141
• Title: UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
• Title（参考訳）: UrbanIR: ワンビデオによる大規模都市シーンの逆レンダリング
• Authors: Chih-Hao Lin, Bohan Liu, Yi-Ting Chen, Kuan-Sheng Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang,
• Abstract要約: UrbanIRは、1つのビデオで様々な照明条件下でのシーンのリアルで自由視点のレンダリングを可能にする新しい逆グラフィックモデルである。 形状、アルベド、可視性、そして太陽と空の照明は、車載カメラなど、幅広いベースラインのビデオから正確に推測する。 UrbanIRはこれらの問題に、逆グラフィック推論とレンダリングアーティファクトのエラーを減らす新たな損失で対処する。
• 参考スコア（独自算出の注目度）: 22.613946218766802
• License:
• Abstract: We present UrbanIR (Urban Scene Inverse Rendering), a new inverse graphics model that enables realistic, free-viewpoint renderings of scenes under various lighting conditions with a single video. It accurately infers shape, albedo, visibility, and sun and sky illumination from wide-baseline videos, such as those from car-mounted cameras, differing from NeRF's dense view settings. In this context, standard methods often yield subpar geometry and material estimates, such as inaccurate roof representations and numerous 'floaters'. UrbanIR addresses these issues with novel losses that reduce errors in inverse graphics inference and rendering artifacts. Its techniques allow for precise shadow volume estimation in the original scene. The model's outputs support controllable editing, enabling photorealistic free-viewpoint renderings of night simulations, relit scenes, and inserted objects, marking a significant improvement over existing state-of-the-art methods.
• Abstract（参考訳）: Urban Scene Inverse Rendering(Urban Scene Inverse Rendering)は,様々な照明条件下でのシーンのリアルかつ自由視点レンダリングを可能にする,新しい逆グラフィックモデルである。 形状、アルベド、可視性、および太陽と空の照明は、車載カメラなど、NeRFの密集した視界設定とは異なる広いベースラインの映像から正確に推測される。 この文脈では、標準的な手法は、不正確な屋根表現や多数の「フローター」のような、サブパー幾何学と材料推定をしばしば得る。 UrbanIRはこれらの問題に、逆グラフィック推論とレンダリングアーティファクトのエラーを減らす新たな損失で対処する。 その技術により、元のシーンで正確に影の体積を推定できる。 このモデルの出力は、制御可能な編集をサポートし、夜間シミュレーションのフォトリアリスティックな自由視点レンダリング、シーンへの依存、挿入オブジェクトを可能にし、既存の最先端手法よりも大幅に改善されている。

関連論文リスト

• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Light Field Neural Rendering [47.7586443731997]
  幾何再構成に基づく手法はスパースビューのみを必要とするが、非ランベルト効果を正確にモデル化することはできない。 強みを組み合わせたモデルを導入し、これらの2つの方向の制限を緩和する。 我々のモデルは、複数の前方向きデータセットと360degデータセットで最先端のモデルより優れています。
  論文  参考訳（メタデータ） (2021-12-17T18:58:05Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• Unconstrained Scene Generation with Locally Conditioned Radiance Fields [24.036609880683585]
  シーンを局所的な放射領域の集合体に分解することを学ぶGenerative Scene Networks(GSN)を紹介します。 私たちのモデルは、新しいシーンの生成や、スパースな2d観察のみのシーンの完了に先立って使用することが可能です。
  論文  参考訳（メタデータ） (2021-04-01T17:58:26Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images [59.53382863519189]
  位置決めされた点灯下で撮影された非構造画像からシーンの外観を再構築する深層学習手法を提案する。 ディープ・リフレクタンス・ボリュームの中心部には、不透明度、表面正規度、リフレクタンス・ボクセル・グリッドからなる新しいボリューム・シーンの表現がある。 学習したリフレクタンスボリュームは編集可能であり、キャプチャされたシーンの素材を修正可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。