論文の概要: FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes

• arxiv url: http://arxiv.org/abs/2412.03566v1
• Date: Wed, 04 Dec 2024 18:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:07:49.111386
• Title: FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes
• Title（参考訳）: FreeSim: 運転シーンにおける自由視点カメラシミュレーションを目指して
• Authors: Lue Fan, Hao Zhang, Qitai Wang, Hongsheng Li, Zhaoxiang Zhang,
• Abstract要約: FreeSimは、記録されたエゴ軌道を超えた視点から、高品質なレンダリングを強調している。 まず,一致したデータ構築戦略を用いた生成的拡張モデルを提案する。 そこで我々は,非記録ビューの生成画像を段階的に付加するプログレッシブ・コンストラクション・ストラテジーを提案する。
• 参考スコア（独自算出の注目度）: 75.48014919339319
• License:
• Abstract: We propose FreeSim, a camera simulation method for autonomous driving. FreeSim emphasizes high-quality rendering from viewpoints beyond the recorded ego trajectories. In such viewpoints, previous methods have unacceptable degradation because the training data of these viewpoints is unavailable. To address such data scarcity, we first propose a generative enhancement model with a matched data construction strategy. The resulting model can generate high-quality images in a viewpoint slightly deviated from the recorded trajectories, conditioned on the degraded rendering of this viewpoint. We then propose a progressive reconstruction strategy, which progressively adds generated images of unrecorded views into the reconstruction process, starting from slightly off-trajectory viewpoints and moving progressively farther away. With this progressive generation-reconstruction pipeline, FreeSim supports high-quality off-trajectory view synthesis under large deviations of more than 3 meters.
• Abstract（参考訳）: 自律運転のためのカメラシミュレーション手法FreeSimを提案する。 FreeSimは、記録されたエゴ軌道を超えた視点から、高品質なレンダリングを強調している。 このような視点では、これらの視点のトレーニングデータが利用できないため、従来の手法では許容できない劣化がある。 このようなデータ不足に対処するために、まず、一致したデータ構築戦略を用いた生成的拡張モデルを提案する。 得られたモデルは、この視点の劣化レンダリングに基づいて、記録された軌跡からわずかにずれた視点で高品質な画像を生成することができる。 そこで我々は、わずかに軌道外の視点から始まり、徐々に遠くへ移動しながら、未記録の視点の生成画像を徐々に再構成プロセスに付加するプログレッシブ・コンストラクション・ストラテジーを提案する。 このプログレッシブ・ジェネレーション・リコンストラクション・パイプラインにより、FreeSimは3メートルを超える大きな偏差の下で高品質な軌道外ビュー合成をサポートする。

関連論文リスト

• OG-Gaussian: Occupancy Based Street Gaussians for Autonomous Driving [12.47557991785691]
  我々は,LiDAR点雲をサラウンドビューカメラ画像から生成されたOG(Occupancy Grids)に置き換える新しいアプローチであるOG-Gaussianを提案する。 提案手法は,OGのセマンティック情報を利用して静的道路背景から動的車両を分離し,これらのグリッドを2つの初期点雲に変換し,静的物体と動的物体の両方を再構成する。 Openデータセットの実験では、OG-Gaussianは復元品質とレンダリング速度の点で現在の最先端と同等であり、平均PSNRは35.13、レンダリング速度は143 FPSであることが示された。
  論文  参考訳（メタデータ） (2025-02-20T04:00:47Z)
• FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [59.77970844874235]
  スパースビュー画像から高品質な3Dガウス画像を生成することができるフィードフォワード再構築フレームワークであるFreeSplatterを提案する。 FreeSplatterは、シーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。 テキスト・画像・3Dコンテンツ作成など,下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。
  論文  参考訳（メタデータ） (2024-12-12T18:52:53Z)
• DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving [83.27075316161086]
  光リアルな4次元ストリートシーンの再構築は、自動運転における実環境シミュレータの開発に不可欠である。 本稿では,汎用的な運転シーン再構築モデルであるLarge 4D Gaussian Reconstruction Model (DrivingRecon)を紹介する。 ドライビングレコンは既存の手法に比べてシーンの再現性や新しいビュー合成を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-12T08:10:31Z)
• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty [10.37108303188536]
  3D Gaussian Splatting (3D-GS)は、ニューラルレンダリングにおいて画期的な進歩を遂げた。 大規模な道路シーンレンダリングの一般的な忠実度は、入力画像によって制限されることが多い。 カービューのアンサンブルに基づくレンダリングの不確実性と空中画像とのマッチングにより、3D-GSにクロスビューの不確実性を導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:59:55Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation [21.501865765631123]
  S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。 S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。 システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
  論文  参考訳（メタデータ） (2024-02-03T10:35:42Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。