論文の概要: FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes

• arxiv url: http://arxiv.org/abs/2412.03566v1
• Date: Wed, 04 Dec 2024 18:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 21:42:00.778902
• Title: FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes
• Title（参考訳）: FreeSim: 運転シーンにおける自由視点カメラシミュレーションを目指して
• Authors: Lue Fan, Hao Zhang, Qitai Wang, Hongsheng Li, Zhaoxiang Zhang,
• Abstract要約: FreeSimは、記録されたエゴ軌道を超えた視点から、高品質なレンダリングを強調している。 まず,一致したデータ構築戦略を用いた生成的拡張モデルを提案する。 そこで我々は,非記録ビューの生成画像を段階的に付加するプログレッシブ・コンストラクション・ストラテジーを提案する。
• 参考スコア（独自算出の注目度）: 75.48014919339319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose FreeSim, a camera simulation method for autonomous driving. FreeSim emphasizes high-quality rendering from viewpoints beyond the recorded ego trajectories. In such viewpoints, previous methods have unacceptable degradation because the training data of these viewpoints is unavailable. To address such data scarcity, we first propose a generative enhancement model with a matched data construction strategy. The resulting model can generate high-quality images in a viewpoint slightly deviated from the recorded trajectories, conditioned on the degraded rendering of this viewpoint. We then propose a progressive reconstruction strategy, which progressively adds generated images of unrecorded views into the reconstruction process, starting from slightly off-trajectory viewpoints and moving progressively farther away. With this progressive generation-reconstruction pipeline, FreeSim supports high-quality off-trajectory view synthesis under large deviations of more than 3 meters.
• Abstract（参考訳）: 自律運転のためのカメラシミュレーション手法FreeSimを提案する。 FreeSimは、記録されたエゴ軌道を超えた視点から、高品質なレンダリングを強調している。 このような視点では、これらの視点のトレーニングデータが利用できないため、従来の手法では許容できない劣化がある。 このようなデータ不足に対処するために、まず、一致したデータ構築戦略を用いた生成的拡張モデルを提案する。 得られたモデルは、この視点の劣化レンダリングに基づいて、記録された軌跡からわずかにずれた視点で高品質な画像を生成することができる。 そこで我々は、わずかに軌道外の視点から始まり、徐々に遠くへ移動しながら、未記録の視点の生成画像を徐々に再構成プロセスに付加するプログレッシブ・コンストラクション・ストラテジーを提案する。 このプログレッシブ・ジェネレーション・リコンストラクション・パイプラインにより、FreeSimは3メートルを超える大きな偏差の下で高品質な軌道外ビュー合成をサポートする。

関連論文リスト

• Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation [1.0027737736304287]
  ニューラル再構成の強みと物理ベースのレンダリングを組み合わせたハイブリッドアプローチを導入する。 提案手法は,特に道路面やレーンマーキングにおいて,新規なビュー合成品質を著しく向上させる。 ノイズの多いLiDAR点雲からの奥行き正則化により、元の画像上でカスタマイズされたNeRFモデルをトレーニングすることで、これを実現する。
  論文  参考訳（メタデータ） (2025-03-12T15:18:50Z)
• FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering [79.39246982782717]
  経路外ビューの再構築の監督として,コンパクトで高品質な画像を作成するために,逆ビューワーピング技術を導入する。 提案手法は,広く使用されているOpenデータセット上で,経路内および経路外再構成およびレンダリング性能を向上する。
  論文  参考訳（メタデータ） (2025-02-28T14:32:04Z)
• FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [59.77970844874235]
  スパースビュー画像から高品質な3Dガウス画像を生成することができるフィードフォワード再構築フレームワークであるFreeSplatterを提案する。 FreeSplatterは、シーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。 テキスト・画像・3Dコンテンツ作成など,下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。
  論文  参考訳（メタデータ） (2024-12-12T18:52:53Z)
• DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving [83.27075316161086]
  光リアルな4次元ストリートシーンの再構築は、自動運転における実環境シミュレータの開発に不可欠である。 本稿では,汎用的な運転シーン再構築モデルであるLarge 4D Gaussian Reconstruction Model (DrivingRecon)を紹介する。 ドライビングレコンは既存の手法に比べてシーンの再現性や新しいビュー合成を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-12T08:10:31Z)
• Driving Scene Synthesis on Free-form Trajectories with Generative Prior [39.24591650300784]
  我々はDriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 得られたモデルにより、記録軌道外の高忠実度仮想運転環境を作成できる。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。
  論文  参考訳（メタデータ） (2024-12-02T17:07:53Z)
• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• PVP-Recon: Progressive View Planning via Warping Consistency for Sparse-View Surface Reconstruction [49.7580491592023]
  PVP-Recon, 新規かつ効果的なスパースビュー表面再構成法を提案する。 PVP-Reconは3つのビューで初期表面の再構築を開始し、徐々に新しいビューを追加する。 このプログレッシブビュー計画の進捗は、神経SDFベースの再構築モジュールによってインターリーブされる。
  論文  参考訳（メタデータ） (2024-09-09T10:06:34Z)
• Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty [10.37108303188536]
  3D Gaussian Splatting (3D-GS)は、ニューラルレンダリングにおいて画期的な進歩を遂げた。 大規模な道路シーンレンダリングの一般的な忠実度は、入力画像によって制限されることが多い。 カービューのアンサンブルに基づくレンダリングの不確実性と空中画像とのマッチングにより、3D-GSにクロスビューの不確実性を導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:59:55Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation [21.501865765631123]
  S-NeRF++は神経再構成に基づく革新的な自律運転シミュレーションシステムである。 S-NeRF++は、nuScenesやradianceなど、広く使われている自動運転データセットでトレーニングされている。 システムは、ノイズとスパースLiDARデータを効果的に利用して、トレーニングを洗練し、奥行きの外れ値に対処する。
  論文  参考訳（メタデータ） (2024-02-03T10:35:42Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。