論文の概要: Scaling Action-Free Video Latent Prediction for Transferable Representations in End-to-End Autonomous Driving

• arxiv url: http://arxiv.org/abs/2611.02853v1
• Date: Mon, 02 Nov 2026 09:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 14:52:23.620753
• Title: Scaling Action-Free Video Latent Prediction for Transferable Representations in End-to-End Autonomous Driving
• Title（参考訳）: エンド・ツー・エンド自動運転における移動可能表現のスケーリングフリービデオ遅延予測
• Abstract要約: 我々は、スケーラブルな事前学習目的として、アクションフリービデオ潜伏予測について検討する。 大規模なインターネットオープンワールドドライビングビデオに特化してトレーニングされた、運転指向フレームワークであるScaleDriveを紹介した。 本研究では,異なるエンドツーエンドの運転ポリシーとクローズドループベンチマークによる視覚的表現伝達について検討する。
• 参考スコア（独自算出の注目度）: 41.96970828883788
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: End-to-end autonomous driving policies require effective visual representations that capture both spatial scene structure and temporal dynamics. Video latent prediction has emerged as an effective paradigm for learning spatiotemporal visual representations, yet it remains unclear whether scaling this objective with action-free driving videos can yield representations that benefit end-to-end planning. We study action-free video latent prediction as a scalable pretraining objective and introduce ScaleDrive, a driving-oriented framework pretrained exclusively on large-scale internet open-world driving videos, without action annotations or benchmark-specific data. We keep the pretrained video encoder frozen during downstream end-to-end planning training to isolate the transferability of representations learned from internet driving videos. Ego-motion and depth probes show that scaling action-free video pretraining progressively strengthens the temporal and geometric information encoded in the frozen representation. We systematically study the visual representation transfer across different end-to-end driving policies and closed-loop benchmarks, where ScaleDrive consistently improves downstream performance and demonstrates that scaling action-free video latent prediction yields representations that generalize across both planning policy architectures and evaluation scenarios and protocols.
• Abstract（参考訳）: エンドツーエンドの自律運転ポリシーは、空間的シーン構造と時間的ダイナミクスの両方をキャプチャする効果的な視覚的表現を必要とする。 ビデオ遅延予測は時空間の視覚的表現を学習するための効果的なパラダイムとして現れてきたが、この目的をアクションフリーのドライビングビデオで拡張することで、エンドツーエンドの計画に役立つ表現が得られるかどうかは不明だ。 我々は、スケーラブルな事前トレーニング対象としてアクションフリービデオ潜伏予測を研究し、アクションアノテーションやベンチマーク固有のデータなしで、大規模インターネットオープンワールドドライビングビデオのみに事前トレーニングされた駆動指向フレームワークであるScaleDriveを紹介した。 ダウンストリーム・ツー・エンド・プランニング・トレーニング中、トレーニング済みのビデオエンコーダを凍結させ、インターネット駆動ビデオから学習した表現の転送可能性の分離を図る。 Ego-motion and depth probes は、凍結表現に符号化された時間的・幾何学的な情報を徐々に強化している。 本研究では,様々なエンド・ツー・エンドの運転方針とクローズドループ・ベンチマーク間の視覚的表現伝達を体系的に研究し,ダウンストリーム性能を継続的に改善し,アクションフリーなビデオ遅延予測が,計画ポリシアーキテクチャと評価シナリオとプロトコルの両方にまたがって一般化した表現をもたらすことを示す。

関連論文リスト

• SV-WAM: An Efficient Surround-View World-Action Model for End-to-End Autonomous Driving [6.9856663722260235]
  SV-WAMは、効率的な推論を維持しつつ、完全な6カメラ観測を保存できるサラウンドビュー・ワールドアクションモデル(WAM)を提案する。 このデザインの中核はアクション中心の因果マスクで、アクショントークンがジョイントアクションビデオの復調中に将来のビデオトークンに出席することを防ぐ。 クローズドループNAVSIMv2ベンチマークとオープンループnuScenesベンチマークの実験は、SV-WAMが最先端の計画性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-09-03T09:47:51Z)
• DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving [19.231942908215174]
  本稿では、事前学習したビデオ拡散変換器を自己回帰型ビデオアクションポリシーに適応させる駆動ワールドアクションモデルDriveWAMを提案する。 DriveWAMは、ビデオストリームとアクションストリームを統合された時間トークンシーケンスに編成し、それらをジョイントフローマッチングの目的の下でトレーニングする。 NAVSIMとPhysicalAI-Autonomous-Vehiclesベンチマークの実験は、DriveWAMが強力な計画性能を発揮することを示している。
  論文  参考訳（メタデータ） (2026-05-27T14:36:26Z)
• DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
  我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。 特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。 nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
  論文  参考訳（メタデータ） (2024-09-15T15:55:24Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Implicit Latent Variable Model for Scene-Consistent Motion Forecasting [78.74510891099395]
  本稿では,センサデータから直接複雑な都市交通のシーン一貫性のある動き予測を学習することを目的とする。 我々は、シーンを相互作用グラフとしてモデル化し、強力なグラフニューラルネットワークを用いてシーンの分散潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-07-23T14:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。