論文の概要: Diffusion Transformer World-Action Model for AV Scene Prediction

• arxiv url: http://arxiv.org/abs/2606.12987v1
• Date: Thu, 11 Jun 2026 07:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.638309
• Title: Diffusion Transformer World-Action Model for AV Scene Prediction
• Title（参考訳）: AVシーン予測のための拡散変圧器世界行動モデル
• Authors: Ruslan Sharifullin, Benjamin Jiang, Kai Xi Chew,
• Abstract要約: アクションコンディショニングされた世界モデルは、自動運転車が将来のカメラシーンを独自のコントロールから予測することを可能にする。 しかし、コンパクトで訓練可能なスケールでは、未来は曖昧であり、フィールドの標準歪み指標は積極的に誤解を招く。 我々はこれを、冷凍デコーダが最大256倍256ドルフレームを最大8秒前にレンダリングする将来のシーンの潜伏を予測するコンパクトな潜伏世界モデルと対決する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action-conditioned world models let an autonomous vehicle predict future camera scenes from its own planned controls, enabling planning and simulation without real-world rollouts, but at compact, trainable scale the futures are ambiguous and the field's standard distortion metrics actively mislead: they reward a blurry regression mean over a realistic prediction. We confront this with a compact latent world model that, given the present front-camera latent and a sequence of ego-actions, predicts future scene latents a frozen decoder renders to $256 \times 256$ frames up to 8 seconds ahead, evaluated on 150 held-out nuScenes scenes. We first benchmark where to predict: across six frozen encoders spanning four representation families, V-JEPA2 with temporal context reduces steering RMSE by 40% over the best single-frame encoder. We then train a latent Diffusion Transformer (DiT) and, through a controlled diagnosis, identify the four ingredients it needs: spatial tokens, the $x_0$ objective, residual anchoring, and sampling matched to target uncertainty. In a Stable-Diffusion-VAE encode-predict-decode pipeline we expose the central tension: distortion metrics (cosine similarity, SSIM) favor the blurry mean, masking that the diffusion model is far closer to the real frame distribution. Inception-based FID and KID reveal a clean perception-distortion frontier: diffusion attains KID 0.078 versus 0.375 for regression ($4.8\times$ better), and a deployable train-derived calibration makes this practical without test-time ground truth. The model is genuinely action-controllable (steering drives scene displacement, Spearman $ρ= 0.81$, vs $-0.18$ for regression). We trace limited single-pass motion to a shared-present anchor and engineer a compact 1.7M-parameter "jump" model that recovers full ground-truth motion magnitude ($1.02\times$ GT), where single-pass models capture less than half.
• Abstract（参考訳）: アクションコンディショニングされた世界モデルは、自動運転車が将来のカメラシーンを独自のコントロールから予測し、現実世界のロールアウトなしで計画とシミュレーションを可能にする。 我々は、現在のフロントカメラのラテントと一連のエゴアクションを考慮し、将来のシーンのラテントを予測し、凍結デコーダが最大で256 \times 256$framesにレンダリングされ、最大8秒前に、150の保持されたnuScenesシーンで評価される、コンパクトなラテント世界モデルと対決する。 4つの表現ファミリにまたがる6つの凍結エンコーダにまたがって、時間的コンテキストを持つV-JEPA2は、最高のシングルフレームエンコーダよりもRMSEを40%削減する。 次に、潜伏拡散変換器(DiT)を訓練し、制御された診断により、空間トークン、$x_0$目的、残留アンカー、およびターゲット不確実性にマッチしたサンプリングの4つの要素を識別する。 歪み測定(cosine similarity, SSIM)は、拡散モデルが実際のフレーム分布よりもはるかに近いことを隠蔽して、ぼやけた平均を好んでいる。 拡散はKID 0.078対0.375対レグレッション(4.8\times$ better)に達し、展開可能な列車由来のキャリブレーションはテスト時の真実なしにこれを実用的にする。 モデルは真にアクション制御可能である(ステアリングはシーンの変位を駆動し、Spearman $ρ= 0.81$、レグレッションは $-0.18$)。 我々は、限定されたシングルパス動作を、共有されているアンカーにトレースし、コンパクトな1.7Mパラメータの「ジャンプ」モデルを構築し、フルグランドトルース運動のマグニチュードを回復する(1.02\times$GT)。

関連論文リスト

• SKIP: Sparse Keyframe Interpolation Paradigm for Efficient Embodied World Models [34.49867155987541]
  SKIP(Sparse Keyframe Interpolation Paradigm)を提案する。 SKIPは、ロボットが認識するマルチモーダル機能を利用してタスク関連物を識別する。 次に、スパースビデオ拡散モデルでこれらのEmsのみを合成する。 学習されたギャップ予測器ビデオと動作条件補間器は、その後、ロボットの動作に応じて行方不明区間を再構築する。
  論文  参考訳（メタデータ） (2026-05-30T10:41:34Z)
• Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning [18.397872306430006]
  アクションコンディショニングされたロボットワールドモデルは、ロボットアクションシーケンスが与えられた操作されたシーンの将来のビデオフレームを生成する。 これらのモデルは、短時間の予測に最適化され、自動回帰的にデプロイされたときに分解される。 我々は,自己回帰的なロールアウトで世界モデルを訓練する強化学習スキームを導入する。
  論文  参考訳（メタデータ） (2026-03-26T17:36:08Z)
• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
  JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。 最初のJEPAであるLeModelWorldを紹介します。 数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
  論文  参考訳（メタデータ） (2026-03-13T19:48:14Z)
• DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control [16.562259973551786]
  本稿では,ビデオ拡散変換器とアクション拡散変換器を結合したエンドツーエンドのビデオ・アクション・モデルであるDiT4DiTを紹介する。 DiT4DiTは、再構成後のフレームに頼る代わりに、ビデオ生成プロセスから中間的なデノイング機能を抽出する。 これは最先端の結果を達成し、LIBEROでは98.6%、RoboCasa GR1では50.8%という平均的な成功率に達した。
  論文  参考訳（メタデータ） (2026-03-11T06:03:53Z)
• Structure From Tracking: Distilling Structure-Preserving Motion for Video Generation [76.04880323498598]
  自己回帰動画追跡モデル(SAM2)から双方向ビデオ拡散モデル(CogVideoX)へ構造保存動作先行情報を抽出するアルゴリズムを提案する。 VBenchと人間の研究ではSAM2VideoXが一貫した利益をもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-12-12T18:56:35Z)
• Delta-Triplane Transformers as Occupancy World Models [57.16979927973973]
  Occupancy World Models (OWMs) は、知的運動計画を支援するために、環境の3次元ボキセル化表現を通して将来のシーンを予測することを目的としている。 本稿では,自律運転のための新しい4DOWMであるDelta-Triplane Transformers (DTT)を提案する。 DTTは1.44$times$ speedup (26 FPS)を最先端に提供し、平均IoUを30.85に改善し、平均絶対計画誤差を1.0mに下げる。
  論文  参考訳（メタデータ） (2025-03-10T13:50:23Z)
• A Fair Ranking and New Model for Panoptic Scene Graph Generation [51.78798765130832]
  Decoupled SceneFormer(DSFormer)は、既存のすべてのシーングラフモデルよりも優れた2段階モデルである。 基本設計原則として、DSFormerは被写体とオブジェクトマスクを直接特徴空間にエンコードする。
  論文  参考訳（メタデータ） (2024-07-12T12:28:08Z)
• Model Predictive Simulation Using Structured Graphical Models and Transformers [4.229560419171488]
  本稿では、トランスフォーマと確率的グラフィカルモデル(PGM)に基づいて、複数の対話エージェント(道路利用者)の軌跡をシミュレートする手法を提案する。 次に, 先行知識を符号化する因子を含むPGMを用いて, これらの軌道を改良する。 我々はMPSがMTRベースラインを改善することを示し、特に衝突速度などの安全クリティカルな指標について述べる。
  論文  参考訳（メタデータ） (2024-06-28T03:46:53Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training [76.69480467101143]
  自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。 本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。 一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
  論文  参考訳（メタデータ） (2022-10-11T08:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。