論文の概要: Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis

• arxiv url: http://arxiv.org/abs/2606.01590v1
• Date: Mon, 01 Jun 2026 02:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.877537
• Title: Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis
• Title（参考訳）: ストリートビュー新規ビュー合成のための効果的なマルチセンサ条件付け
• Authors: Zhengfei Kuang, Adam Sun, Liyuan Zhu, Tong Wu, Shengqu Cai, Jonathan Tremblay, Iro Armeni, Ehsan Adeli, Lior Yariv, Gordon Wetzstein,
• Abstract要約: ビデオ拡散フレームワークであるStreetNVSを紹介する。 我々は,高架,車線シフト,引き戻し,回転などの極端な軌道外経路に沿ってコヒーレントな映像を合成する能力を示す。
• 参考スコア（独自算出の注目度）: 53.67632483195509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern vehicle platforms are equipped with a rich sensor suite, including LiDAR, calibrated multi-camera rigs, and accurate ego-motion, that in principle offers strong signal for re-rendering a driving scene from novel viewpoints. A growing line of recent work leverages video diffusion models for this task, using their generative priors to synthesize plausible novel views from sparse vehicle observations. In practice, however, existing methods exploit only a fragment of this signal, and their quality tends to degrade as the target trajectory departs from the recorded driving path. We argue that this is fundamentally a multi-sensor fusion problem: sparse LiDAR reprojections supply accurate but incomplete metric geometry, surround-view reference imagery supplies dense appearance but no metric depth, and camera poses tie the two together across views. We introduce StreetNVS, a video diffusion framework that jointly conditions on all three signals through a Reference-Enhanced Camera Attention module based on a relative ray-level positional encoding. We develop a two-stage curriculum training strategy that gradually exposes the model to increasingly sparse LiDAR. On the Waymo Open Dataset, StreetNVS substantially outperforms state-of-the-art baselines under sparse LiDAR conditioning, matches methods that rely on 10-100 times denser point clouds. We further show capabilities of synthesizing coherent videos along extreme out-of-trajectory paths such as elevation, lane-shift, pullback, and rotation. Our website: https://streetnvs.github.io
• Abstract（参考訳）: 現代の車両プラットフォームは、LiDAR、キャリブレーションされたマルチカメラリグ、正確なエゴモーションを含むリッチなセンサースイートを備えており、原則として、新しい視点から運転シーンを再レンダリングするための強力な信号を提供する。 最近の研究のラインアップは、ビデオ拡散モデルを利用して、その生成的事前を利用して、スパース車両観測から可塑性新規ビューを合成している。 しかし、実際には、既存の手法はこの信号の断片しか利用せず、目標軌道が記録された駆動経路から外れるにつれて、その品質は低下する傾向にある。 疎LiDAR再プロジェクションは正確だが不完全なメートル法を提供し、サラウンドビュー参照画像は密な外観を提供するが、メートル法深度はない。 そこで我々は,StreetNVSを紹介した。StreetNVSは,相対線レベルの位置エンコーディングに基づく参照強調カメラアテンションモジュールを通じて,3つの信号に共同で条件を付けるビデオ拡散フレームワークである。 2段階のカリキュラム学習戦略を開発し,LiDARの疎外化を徐々に進める。 Waymo Open Datasetでは、StreetNVSがLiDAR条件下で最先端のベースラインを大幅に上回っている。 さらに,高架,車線シフト,引き戻し,回転などの極端な軌道外経路に沿ってコヒーレントな映像を合成する能力を示す。 ウェブサイト:https://streetnvs.github.io

関連論文リスト

• ReinDriveGen: Reinforcement Post-Training for Out-of-Distribution Driving Scene Generation [61.64162666162948]
  ReinDriveGenは動的駆動シーンのフルコントロールを可能にするフレームワークである。 提案手法は,マルチフレームLiDARデータから動的3Dポイントクラウドシーンを構築する。 提案手法では,映像拡散モデルを用いてリアルな運転映像を合成する2次元条件画像に編集シーンを描画する。
  論文  参考訳（メタデータ） (2026-04-01T16:48:20Z)
• TrajLoom: Dense Future Trajectory Generation from Video [17.78215938363174]
  本稿では,過去の映像から将来の軌跡や軌跡を予測するフレームワークを提案する。 最先端手法と比較して,提案手法は24フレームから81フレームまでの予測地平線を延長する。 予測された軌道は、下流のビデオ生成と編集を直接サポートする。
  論文  参考訳（メタデータ） (2026-03-23T22:10:58Z)
• DC-Gaussian: Improving 3D Gaussian Splatting for Reflective Dash Cam Videos [23.967885144420613]
  本稿では,車載ダッシュカムビデオから新しいビューを生成する手法であるDC-Gaussianを提案する。 本手法は,新規なビュー合成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-27T23:38:10Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• LiDAR View Synthesis for Robust Vehicle Navigation Without Expert Labels [50.40632021583213]
  我々は、危険な位置で物理的に運転することなく、新しい視点からLiDAR点雲を合成することを提案する。 我々は、LiDARスキャンを入力とし、将来の軌跡を出力として予測するディープラーニングモデルを訓練する。 次に、この予測軌道にウェイポイントコントローラを適用して、エゴ車両のスロットルおよびステアリングラベルを決定する。
  論文  参考訳（メタデータ） (2023-08-02T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。