論文の概要: FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes

• arxiv url: http://arxiv.org/abs/2412.03566v1
• Date: Wed, 04 Dec 2024 18:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:07:49.111386
• Title: FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes
• Title（参考訳）: FreeSim: 運転シーンにおける自由視点カメラシミュレーションを目指して
• Authors: Lue Fan, Hao Zhang, Qitai Wang, Hongsheng Li, Zhaoxiang Zhang,
• Abstract要約: FreeSimは、記録されたエゴ軌道を超えた視点から、高品質なレンダリングを強調している。 まず,一致したデータ構築戦略を用いた生成的拡張モデルを提案する。 そこで我々は,非記録ビューの生成画像を段階的に付加するプログレッシブ・コンストラクション・ストラテジーを提案する。
• 参考スコア（独自算出の注目度）: 75.48014919339319
• License:
• Abstract: We propose FreeSim, a camera simulation method for autonomous driving. FreeSim emphasizes high-quality rendering from viewpoints beyond the recorded ego trajectories. In such viewpoints, previous methods have unacceptable degradation because the training data of these viewpoints is unavailable. To address such data scarcity, we first propose a generative enhancement model with a matched data construction strategy. The resulting model can generate high-quality images in a viewpoint slightly deviated from the recorded trajectories, conditioned on the degraded rendering of this viewpoint. We then propose a progressive reconstruction strategy, which progressively adds generated images of unrecorded views into the reconstruction process, starting from slightly off-trajectory viewpoints and moving progressively farther away. With this progressive generation-reconstruction pipeline, FreeSim supports high-quality off-trajectory view synthesis under large deviations of more than 3 meters.
• Abstract（参考訳）: 自律運転のためのカメラシミュレーション手法FreeSimを提案する。 FreeSimは、記録されたエゴ軌道を超えた視点から、高品質なレンダリングを強調している。 このような視点では、これらの視点のトレーニングデータが利用できないため、従来の手法では許容できない劣化がある。 このようなデータ不足に対処するために、まず、一致したデータ構築戦略を用いた生成的拡張モデルを提案する。 得られたモデルは、この視点の劣化レンダリングに基づいて、記録された軌跡からわずかにずれた視点で高品質な画像を生成することができる。 そこで我々は、わずかに軌道外の視点から始まり、徐々に遠くへ移動しながら、未記録の視点の生成画像を徐々に再構成プロセスに付加するプログレッシブ・コンストラクション・ストラテジーを提案する。 このプログレッシブ・ジェネレーション・リコンストラクション・パイプラインにより、FreeSimは3メートルを超える大きな偏差の下で高品質な軌道外ビュー合成をサポートする。

関連論文リスト

• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• PVP-Recon: Progressive View Planning via Warping Consistency for Sparse-View Surface Reconstruction [49.7580491592023]
  PVP-Recon, 新規かつ効果的なスパースビュー表面再構成法を提案する。 PVP-Reconは3つのビューで初期表面の再構築を開始し、徐々に新しいビューを追加する。 このプログレッシブビュー計画の進捗は、神経SDFベースの再構築モジュールによってインターリーブされる。
  論文  参考訳（メタデータ） (2024-09-09T10:06:34Z)
• Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty [10.37108303188536]
  3D Gaussian Splatting (3D-GS)は、ニューラルレンダリングにおいて画期的な進歩を遂げた。 大規模な道路シーンレンダリングの一般的な忠実度は、入力画像によって制限されることが多い。 カービューのアンサンブルに基づくレンダリングの不確実性と空中画像とのマッチングにより、3D-GSにクロスビューの不確実性を導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:59:55Z)
• AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
  AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。 本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-07-02T18:36:50Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation [21.501865765631123]
  S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。 S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。 システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
  論文  参考訳（メタデータ） (2024-02-03T10:35:42Z)
• CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation [44.83732884335725]
  センサシミュレーションでは、車などの交通参加者を高品質な外観と明瞭な幾何学でモデル化する。 現在の再構築アプローチは、その広さとノイズのために、Wildのセンサーデータに苦労している。 本稿では,車体形状を自動再構成するために,CADモデルの小さなセットと微分レンダリングを併用したCADSimを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:56:59Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。