論文の概要: VDG: Vision-Only Dynamic Gaussian for Driving Simulation

• arxiv url: http://arxiv.org/abs/2406.18198v1
• Date: Wed, 26 Jun 2024 09:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:59:06.932945
• Title: VDG: Vision-Only Dynamic Gaussian for Driving Simulation
• Title（参考訳）: VDG:運転シミュレーションのためのヴィジュアルオンリーダイナミックガウス
• Authors: Hao Li, Jingfeng Li, Dingwen Zhang, Chenming Wu, Jieqi Shi, Chen Zhao, Haocheng Feng, Errui Ding, Jingdong Wang, Junwei Han,
• Abstract要約: ポーズフリーな動的ガウス法(VDG)に自己教師付きVOを導入する。 VDGはRGB画像入力のみで動作可能で、ポーズフリーのダイナミックビュー合成法に比べて高速で広いシーンで動的シーンを構築することができる。 その結果,現状の動的ビュー合成法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 112.6139608504842
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dynamic Gaussian splatting has led to impressive scene reconstruction and image synthesis advances in novel views. Existing methods, however, heavily rely on pre-computed poses and Gaussian initialization by Structure from Motion (SfM) algorithms or expensive sensors. For the first time, this paper addresses this issue by integrating self-supervised VO into our pose-free dynamic Gaussian method (VDG) to boost pose and depth initialization and static-dynamic decomposition. Moreover, VDG can work with only RGB image input and construct dynamic scenes at a faster speed and larger scenes compared with the pose-free dynamic view-synthesis method. We demonstrate the robustness of our approach via extensive quantitative and qualitative experiments. Our results show favorable performance over the state-of-the-art dynamic view synthesis methods. Additional video and source code will be posted on our project page at https://3d-aigc.github.io/VDG.
• Abstract（参考訳）: 動的ガウススプラッティングは、印象的なシーン再構築と、新しい視点における画像合成の進歩につながった。 しかし、既存の方法は、事前計算されたポーズと、Structure from Motion (SfM)アルゴリズムや高価なセンサーによるガウスの初期化に大きく依存している。 本稿では, 自己教師型VOをポーズフリーな動的ガウス法 (VDG) に統合し, ポーズと深さの初期化と静的力学の分解を促進することでこの問題に対処する。 さらに、VDGはRGB画像入力のみで動作可能で、ポーズフリーのダイナミックビュー合成法と比較して、より高速で広いシーンで動的シーンを構築することができる。 我々は、広範囲な定量的および定性的な実験を通して、我々のアプローチの頑健さを実証する。 その結果,現状の動的ビュー合成法よりも優れた性能を示した。 追加のビデオとソースコードは、プロジェクトページ https://3d-aigc.github.io/VDG.com に掲載されます。

関連論文リスト

• GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation [28.780488884938997]
  連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合する新しい概念であるガウス流を導入する。 提案手法は,ガウススプラッティングを用いた4次元動的コンテンツ生成と4次元新規ビュー合成に有効である。 提案手法は, 4次元生成と4次元新規ビュー合成の両課題に対して, 最先端の成果を得る。
  論文  参考訳（メタデータ） (2024-03-19T02:22:21Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。