論文の概要: OmniRe: Omni Urban Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2408.16760v1
• Date: Thu, 29 Aug 2024 17:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 12:41:39.473941
• Title: OmniRe: Omni Urban Scene Reconstruction
• Title（参考訳）: オムニレ(OmniRe:Omni Urban Scene Restruction)
• Authors: Ziyu Chen, Jiawei Yang, Jiahui Huang, Riccardo de Lutio, Janick Martinez Esturo, Boris Ivanovic, Or Litany, Zan Gojcic, Sanja Fidler, Marco Pavone, Li Song, Yue Wang,
• Abstract要約: デバイス上でのログから高忠実度な都市景観を効率的に再構築するための総合的アプローチであるOmniReを紹介する。 我々はOmniReという名前のシーンを駆動するための総合的な3DGSフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 78.99262488964423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce OmniRe, a holistic approach for efficiently reconstructing high-fidelity dynamic urban scenes from on-device logs. Recent methods for modeling driving sequences using neural radiance fields or Gaussian Splatting have demonstrated the potential of reconstructing challenging dynamic scenes, but often overlook pedestrians and other non-vehicle dynamic actors, hindering a complete pipeline for dynamic urban scene reconstruction. To that end, we propose a comprehensive 3DGS framework for driving scenes, named OmniRe, that allows for accurate, full-length reconstruction of diverse dynamic objects in a driving log. OmniRe builds dynamic neural scene graphs based on Gaussian representations and constructs multiple local canonical spaces that model various dynamic actors, including vehicles, pedestrians, and cyclists, among many others. This capability is unmatched by existing methods. OmniRe allows us to holistically reconstruct different objects present in the scene, subsequently enabling the simulation of reconstructed scenarios with all actors participating in real-time (~60Hz). Extensive evaluations on the Waymo dataset show that our approach outperforms prior state-of-the-art methods quantitatively and qualitatively by a large margin. We believe our work fills a critical gap in driving reconstruction.
• Abstract（参考訳）: デバイス上でのログから高忠実度な都市景観を効率的に再構築するための総合的アプローチであるOmniReを紹介する。 ニューラルラディアンスフィールドやガウススプラッティングを用いた運転シーケンスをモデル化する最近の手法は、困難なダイナミックシーンを再構築する可能性を示しているが、しばしば歩行者や他の非車両ダイナミックアクターを見落とし、動的な都市シーン再構築のための完全なパイプラインを妨げている。 そこで我々はOmniReという3DGSフレームワークを提案する。このフレームワークを使えば、運転ログ内の多様な動的オブジェクトを正確にフルに再現できる。 OmniReは、ガウス表現に基づくダイナミックなニューラルシーングラフを構築し、車両、歩行者、サイクリストなど、さまざまなダイナミックアクターをモデル化する複数のローカルな標準空間を構築している。 この能力は既存の方法と一致しない。 OmniReは、シーンに存在するさまざまなオブジェクトをホロタイプに再構築し、その後、すべてのアクターがリアルタイム(〜60Hz)に参加することで、再構成シナリオのシミュレーションを可能にする。 Waymoデータセットの大規模な評価は、我々のアプローチが従来の最先端手法を定量的に、質的に、大きなマージンで上回っていることを示している。 私たちの仕事は、復興を進める上で重要なギャップを埋めていると信じています。

関連論文リスト

• AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
  AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。 本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-07-02T18:36:50Z)
• Simultaneous Map and Object Reconstruction [66.66729715211642]
  本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。 我々は、最近の新しいビュー合成法から着想を得て、大域的な最適化として再構築問題を提起する。 連続動作の慎重なモデリングにより, 回転するLiDARセンサの回転シャッター効果を補うことができる。
  論文  参考訳（メタデータ） (2024-06-19T23:53:31Z)
• Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting [32.59889755381453]
  近年の手法では、走行中の車両のポーズをアニメーションに取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルな視認を可能にしている。 この制限に対処する新たな明示的なシーン表現であるStreet Gaussiansを紹介します。 提案手法は,全データセットで常に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-01-02T18:59:55Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)
• DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting [35.69069478773709]
  動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。 我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
  論文  参考訳（メタデータ） (2023-11-30T18:59:11Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
  本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。 本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
  論文  参考訳（メタデータ） (2020-12-22T23:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。