論文の概要: Erasing the Ephemeral: Joint Camera Refinement and Transient Object Removal for Street View Synthesis

• arxiv url: http://arxiv.org/abs/2311.17634v1
• Date: Wed, 29 Nov 2023 13:51:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 21:05:14.756027
• Title: Erasing the Ephemeral: Joint Camera Refinement and Transient Object Removal for Street View Synthesis
• Title（参考訳）: エフェメラルの消去:ストリートビュー合成のための共同カメラリファインメントと過渡物体除去
• Authors: Mreenav Shyam Deka and Lu Sang and Daniel Cremers
• Abstract要約: 本研究では,屋外シナリオにおけるビュー合成の課題に対処する手法を提案する。 我々はニューラルポイント光のシーン表現を採用し、動的物体を戦略的に検出・マスクアウトし、アーティファクトなしで新しいシーンを再構築する。 都市景観の新たなビューを合成する上での最先端の成果を実証する。
• 参考スコア（独自算出の注目度）: 44.90761677737313
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Synthesizing novel views for urban environments is crucial for tasks like autonomous driving and virtual tours. Compared to object-level or indoor situations, outdoor settings present unique challenges, such as inconsistency across frames due to moving vehicles and camera pose drift over lengthy sequences. In this paper, we introduce a method that tackles these challenges on view synthesis for outdoor scenarios. We employ a neural point light field scene representation and strategically detect and mask out dynamic objects to reconstruct novel scenes without artifacts. Moreover, we simultaneously optimize camera pose along with the view synthesis process, and thus, we simultaneously refine both elements. Through validation on real-world urban datasets, we demonstrate state-of-the-art results in synthesizing novel views of urban scenes.
• Abstract（参考訳）: 都市環境のための新しいビューの合成は、自動運転やバーチャルツアーといったタスクに不可欠である。 オブジェクトレベルや屋内状況と比較して、屋外環境は、移動車両やカメラが長い順序でドリフトするなど、フレーム間の不整合など、ユニークな課題を呈している。 本稿では,屋外シナリオのビュー合成におけるこれらの課題に対処する手法を提案する。 我々は,ニューラルポイントライトフィールドシーン表現を用い,動的オブジェクトを戦略的に検出・マスクアウトし,新しいシーンをアーティファクトなしで再構築する。 さらに、ビュー合成プロセスとともにカメラポーズを同時に最適化し、両方の要素を同時に洗練する。 実世界の都市データセットの検証を通じて,都市シーンの新たな視点を合成する最新結果を実証する。

関連論文リスト

• ProSGNeRF: Progressive Dynamic Neural Scene Graph with Frequency Modulated Auto-Encoder in Urban Scenes [16.037300340326368]
  暗黙の神経表現は、大規模で複雑なシーンのビュー合成において有望な結果を示している。 既存のアプローチでは、素早く動くオブジェクトをキャプチャできないか、カメラのエゴモーションなしでシーングラフを構築する必要がある。 本研究では,大規模都市景観と高速移動車両の視点合成問題を共同で解決することを目的とする。
  論文  参考訳（メタデータ） (2023-12-14T16:11:42Z)
• Fast View Synthesis of Casual Videos with Soup-of-Planes [24.35962788109883]
  シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。 本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。 本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:55:48Z)
• Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis [37.98068169673019]
  暗黙の神経表現は、現実世界の3Dシーンをモデル化する上で強力な能力を示し、新しいビュー合成において優れた性能を提供している。 本研究では,共同シーンの分解と合成を効果的に行うため,NeRF(Neural Radiance Field)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-05T10:42:05Z)
• LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis [65.20672798704128]
  運転シーンの合成のための照明対応ニューラルネットワーク(LANe)を提案する。 我々は,静的背景要素と過渡要素をワールドニューラルおよびクラス固有のオブジェクトニューラルに切り離すシーン表現を学習する。 CARLAシミュレータでレンダリングした様々な照明条件の合成データセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2023-04-06T17:59:25Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。