論文の概要: DC-Gaussian: Improving 3D Gaussian Splatting for Reflective Dash Cam Videos

• arxiv url: http://arxiv.org/abs/2405.17705v2
• Date: Wed, 29 May 2024 04:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 11:23:10.946834
• Title: DC-Gaussian: Improving 3D Gaussian Splatting for Reflective Dash Cam Videos
• Title（参考訳）: DC-Gaussian:リフレクティブダッシュカムビデオのための3Dガウシアンスプレイティングの改良
• Authors: Linhan Wang, Kai Cheng, Shuo Lei, Shengkun Wang, Wei Yin, Chenyang Lei, Xiaoxiao Long, Chang-Tien Lu,
• Abstract要約: 本稿では,車載ダッシュカムビデオから新しいビューを生成する手法であるDC-Gaussianを提案する。 本手法は,新規なビュー合成における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 23.967885144420613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DC-Gaussian, a new method for generating novel views from in-vehicle dash cam videos. While neural rendering techniques have made significant strides in driving scenarios, existing methods are primarily designed for videos collected by autonomous vehicles. However, these videos are limited in both quantity and diversity compared to dash cam videos, which are more widely used across various types of vehicles and capture a broader range of scenarios. Dash cam videos often suffer from severe obstructions such as reflections and occlusions on the windshields, which significantly impede the application of neural rendering techniques. To address this challenge, we develop DC-Gaussian based on the recent real-time neural rendering technique 3D Gaussian Splatting (3DGS). Our approach includes an adaptive image decomposition module to model reflections and occlusions in a unified manner. Additionally, we introduce illumination-aware obstruction modeling to manage reflections and occlusions under varying lighting conditions. Lastly, we employ a geometry-guided Gaussian enhancement strategy to improve rendering details by incorporating additional geometry priors. Experiments on self-captured and public dash cam videos show that our method not only achieves state-of-the-art performance in novel view synthesis, but also accurately reconstructing captured scenes getting rid of obstructions.
• Abstract（参考訳）: 本稿では,車載ダッシュカムビデオから新しいビューを生成する手法であるDC-Gaussianを提案する。 ニューラルレンダリング技術は、運転シナリオにおいて大きな進歩を遂げてきたが、既存の方法は、主に自動運転車が収集したビデオのために設計されている。 しかし、これらのビデオは、様々な種類の車両で広く使われ、幅広いシナリオを捉えているダッシュカムビデオと比較して、量と多様性の両方に制限がある。 ダッシュカムビデオは、しばしばフロントガラスの反射や閉塞などの深刻な障害に悩まされ、ニューラルレンダリング技術の適用を著しく阻害する。 この課題に対処するため,最近のリアルタイムニューラルネットワーク技術である3D Gaussian Splatting(3DGS)に基づくDC-Gaussianを開発した。 提案手法は、反射や閉塞を統一的にモデル化するための適応的な画像分解モジュールを含む。 さらに,照明条件の異なる反射や閉塞を管理するために照明認識閉塞モデルを導入する。 最後に、幾何誘導型ガウス拡張戦略を用いて、追加の幾何事前を組み込むことで、レンダリングの詳細を改善する。 自撮り及び公開ダッシュカムビデオ実験により,本手法は新規な視点合成における最先端性能を実現するだけでなく,障害物を除去して撮影シーンを正確に再構築することを示した。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting [22.590036750925627]
  ストリートシーンの光現実的再構築は、自動運転における実世界のシミュレータの開発に不可欠である。 3D/4Dガウス散乱(GS)に基づく最近の手法は有望な結果を示したが、動的物体の予測不可能な動きのため、複雑な街路シーンではまだ課題に直面している。 本稿では,ガウス人に学習可能な動作埋め込みを導入することで,動的物体の運動をモデル化するEMD(Explicit Motion Decomposition)を提案する。
  論文  参考訳（メタデータ） (2024-11-23T15:10:04Z)
• UniGaussian: Driving Scene Reconstruction from Multiple Camera Models via Unified Gaussian Representations [23.346765633086452]
  運転シーンで魚眼カメラを効果的にシミュレートする方法は、未解決の問題である。 複数のカメラモデルから統一された3次元ガウス表現を学習する新しいアプローチであるUniGaussianを提案する。 我々のアプローチは、複数のセンサー(ピンホールと魚眼カメラ)とモード(深度、意味、正常、LiDAR点雲)をモデル化する。
  論文  参考訳（メタデータ） (2024-11-22T21:59:46Z)
• SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
  本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。 提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。 本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
  論文  参考訳（メタデータ） (2024-06-29T08:33:55Z)
• Splatter a Video: Video Gaussian Representation for Versatile Processing [48.9887736125712]
  ビデオ表現は、トラッキング、深度予測、セグメンテーション、ビュー合成、編集など、さまざまなダウンストリームタスクに不可欠である。 我々は,映像を3Dガウスに埋め込む,新しい3D表現-ビデオガウス表現を導入する。 トラッキング、一貫したビデオ深度と特徴の洗練、動きと外観の編集、立体映像生成など、多数のビデオ処理タスクで有効であることが証明されている。
  論文  参考訳（メタデータ） (2024-06-19T22:20:03Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
  トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。 以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
  論文  参考訳（メタデータ） (2024-04-29T12:57:05Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。