論文の概要: Driving World Models Move the Camera, Not the Scene
- arxiv url: http://arxiv.org/abs/2611.15260v1
- Date: Wed, 11 Nov 2026 09:50:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.095578
- Title: Driving World Models Move the Camera, Not the Scene
- Title(参考訳): カメラを移動させる世界モデル(動画あり)
- Abstract要約: ReTime-Composeは、トレーニングなしで、計画をジオメトリとして提供する。
記録された1つのスピードロールアウトのフレームを計画されたカメラに転送し、凍結されたモデルはフレームをカバーしないものだけを完成させる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Plan-conditioned driving world models are used to compare candidate plans, so their forecast should change with the plan as the real scene would, yet widely used control metrics check only whether the camera follows the command. Recorded drives already contain real outcomes of plans that were never driven: retiming a log gives pose-matched images and LiDAR for other speeds, and a stereo rig records a laterally shifted view. Against these references, released world models move their camera but barely move the scene: their scene response, the share of the real change in distance that the forecast reproduces, reaches at most about a third of real video's, and the trajectory score cannot tell an executed speed command from an ignored one. Interventions inside the generator trace the failure to the plan's channel. The forecast geometry follows the context frames; once they carry the planned geometry, plan tokens add little. ReTime-Compose therefore delivers the plan as geometry, without training. It transports the frames of one logged-speed rollout to the planned cameras, and the frozen model completes only what no frame covers. Frozen generators then follow a 0.54 m lateral shift nearly as the real scene does on KITTI, nuScenes and Argoverse 2, and respond more than re-sampling to slow-down plans in three generators and to speed-up plans in two.
- Abstract(参考訳): 計画条件付き運転世界モデルは、候補計画と比較するために使用されるため、実際のシーンのように予測は計画に変更されるべきであるが、広く使われている制御指標は、カメラがコマンドに従うかどうかのみをチェックする。
ログの調整によって、他のスピードでポーズマッチングされた画像とLiDARが提供され、ステレオリグが横にシフトしたビューを記録します。
これらの参照に対して、解放された世界モデルはカメラを動かすが、シーンの反応、予測が再現する距離の実際の変化のシェアは、実際のビデオの3分の1以上に達し、軌道スコアは無視されたものから実行された速度コマンドを判断できない。
発電機内部の干渉は、失敗を計画の経路に辿る。
予測幾何はコンテキストフレームに従っており、計画された幾何を運ぶと、プラントークンはほとんど追加されない。
したがって、ReTime-Composeは、トレーニングなしで、計画をジオメトリとして提供する。
記録された1つのスピードロールアウトのフレームを計画されたカメラに転送し、凍結されたモデルはフレームをカバーしないものだけを完成させる。
冷凍発電機は、KITTI、nuScenes、Argoverse 2の実際のシーンとほぼ同程度の0.54m横方向のシフトを辿り、3つのジェネレータのスローダウン計画と2つのプランのスピードアップ計画に再サンプリング以上の反応をする。
関連論文リスト
- Look Only Where You Plan for Real-Time End-to-End Urban Driving [14.260236501552653]
本稿では,計画のどこにしか見えない計画立案者LOWPについて述べる。
16の学習可能なクエリの2セットは、既知のキャリブレーションを通じてカメラを読み取る。
オープンループ nuScenes と擬似シミュレーション NAVSIM とクローズループ Bench2Drive の評価は,コンパクトな表現による競合計画を示す。
論文 参考訳(メタデータ) (2026-11-06T21:54:22Z) - WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusion Models [53.2667526966898]
ビデオ拡散モデルはリッチな3D/4Dプリエントを学習し、シーン生成とビデオ再レンダリングを約束している。
タスク固有の微調整や後処理のワープといった既存のアプローチでは、視覚的なアーティファクトを導入したり、一般化が不十分だったり、計算コストが高かったりすることが多い。
我々は,事前学習ビデオモデルの生成能力を保ちながら,正確なカメラ制御を実現するためにWorldForge V2を提案する。
論文 参考訳(メタデータ) (2026-10-22T17:53:03Z) - Learning the 4D World through Point Trajectory Forecasting [95.13265640991024]
ビデオポイントモデル(VPM)は、任意の視点と永続的なシーンポイントの3次元軌跡から将来の映像を予測する。
生成器にトークンモダリティとしてロボットアクションを追加することにより,VPMをロボット制御に拡張する。
VP-WorldBenchと既存の4D生成ベンチマークでは、点監督はビデオの忠実度と3Dモーションの精度の両方を改善している。
論文 参考訳(メタデータ) (2026-10-20T17:45:45Z) - RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction [38.41034045192577]
フィードフォワード3次元再構成の最近の進歩は、画像ストリームのみから高密度なシーン表現とカメラモーションを復元できるモデルを生み出した。
重力整列全方位ビデオのための大規模再構成パイプラインRIGORを提案する。
提案した整合性機構は, 建設現場の挑戦的配列に基づいて, フィードフォワードベースライン上での軌道精度と再構成幾何の両方を改善することを実証する。
論文 参考訳(メタデータ) (2026-09-11T20:11:43Z) - Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations [0.0]
JEPAワールドモデルは、ラテントスペースを制御するための実用的なルートにします。
0.3-15%のシーンポイントが移動し,3次元自己監督の幾何学的ショートカットによる潜伏予測化合物の時間的最適度が向上した。
標準的なJEPA設計を3つ挙げて、クラウド、フリーズエンコーダ、分散プライア、アクションセンシティブ、および安定なワールドモデルベンチマークを再センスします。
論文 参考訳(メタデータ) (2026-08-29T20:41:41Z) - OmniX: Any-view and Any-time 4D Reconstruction via Feed-forward Trajectory Fields [69.80996430631079]
OmniXというフィードフォワードの4D再構成フレームワークを提案し、大きなカメラモーションを持つビデオから各ピクセルの高密度な3D点軌跡を推定する。
3次元運動のスパース構造とローランク構造を利用して、これらのトークンはグローバルな相互作用を効率的に保ちながら、全画像にわたる全画素の軌跡場を生成する。
論文 参考訳(メタデータ) (2026-07-12T17:05:18Z) - Dash2Sim: Closed-Loop Driving Simulation from in-the-wild Dashcam Videos [51.46430520173442]
Dash2Simは、既存のシミュレーターと互換性のある、測度の高い4Dドライビングログに変換するフレームワークだ。
そこで,Dash2Simにより回収された深度は,知覚測定値において19%の新規ビュー合成品質を向上することを示した。
論文 参考訳(メタデータ) (2026-06-05T15:09:27Z) - RAP: 3D Rasterization Augmented End-to-End Planning [104.52778241744522]
エンド・ツー・エンドの列車政策の模擬学習は、専門家によるデモンストレーションでのみ行われる。
アノテーション付きプリミティブの軽量化により、コストのかかるレンダリングを置き換える3Dラスタライゼーションを提案する。
RAPは最先端のクローズドループとロングテールロバスト性を実現し、4つの主要なベンチマークで第1位となった。
論文 参考訳(メタデータ) (2025-10-05T19:31:24Z) - Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation [54.60804602905519]
我々は、階層化されたシーン形状、動き予測、新しいビュー合成を一緒にモデル化することを目的として、絡み合った表現を学習する。
本手法では,2次元のシーンを3次元の点群に持ち上げることによって,シーン形状をシーンの動きから切り離す。
将来の3次元シーンの動作をモデル化するために,まず自我運動を予測し,その後に動的物体の残留運動を予測する2段階のアンタングル手法を提案する。
論文 参考訳(メタデータ) (2024-07-31T08:54:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。