論文の概要: DiffWAM: A Fast and Efficient Navigation World Action Model
- arxiv url: http://arxiv.org/abs/2609.39763v1
- Date: Wed, 30 Sep 2026 13:57:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.860104
- Title: DiffWAM: A Fast and Efficient Navigation World Action Model
- Title（参考訳）: DiffWAM: 高速かつ効率的なナビゲーションワールドアクションモデル
- Abstract要約: DiffWAMは、多レベル予測機能を連続カメラ軌道に変換するナビゲーションワールドアクションモデルである。
Grid-Motionモジュールは空間的時間的動きの関連を保ち、Latnt2Poseはそれらを第1フレームの形状でグラウンドして3Dモーションを復元する。
FastDreamerは、連続UAV実行のためにタイムスタンプ対応のトラジェクトリハンドオフを実行する。
- 参考スコア（独自算出の注目度）: 12.22319339154881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained video foundation models encode rich semantic and spatiotemporal priors for embodied navigation, yet converting these priors into UAV motion typically requires expensive future-video synthesis and geometric reconstruction. We investigate whether the motion implicit in future visual prediction can instead be recovered directly from the predictive representations of a frozen video model. To this end, we present DiffWAM, a geometry-conditioned navigation world-action model that directly transforms multi-level predictive features into continuous camera trajectories. Its Grid-Motion module preserves spatial-temporal motion associations, while Latent2Pose grounds them with first-frame geometry to recover metrically meaningful 3D motion. Complete video rollouts and geometric reconstruction are required only for offline supervision, eliminating future-video decoding and multi-frame reconstruction during deployment. We further introduce FastDreamer, which overlaps predictive and geometric computation with ongoing flight and performs timestamp-aware asynchronous trajectory handoff for continuous UAV execution. DiffWAM achieves a trajectory RMSE of 0.3492 m and an endpoint success rate of 74.40% on the 1,000-sample DiffWAM-1000 benchmark, while representative real-world experiments demonstrate complex behaviors including constrained traversal, orbiting, S-shaped flight, and multi-stage navigation. An onboard DiffWAM-Flash implementation further reaches 1.08 s model-pipeline latency on NVIDIA Jetson AGX Thor. These results demonstrate that predictive video representations can be efficiently grounded into continuous 3D motion, providing a direct alternative to generate-then-reconstruct navigation pipelines. Project page: https://zzmmzzm.github.io/diffwam.github.io/.
- Abstract（参考訳）: 事前訓練されたビデオファンデーションモデルは、エンボディナビゲーションのためのリッチなセマンティックと時空間の事前を符号化するが、これらの先行をUAV動作に変換するには、通常、高価なビデオ合成と幾何学的再構成が必要である。
凍結映像モデルの予測表現から直接、将来の視覚的予測において暗黙的な動きを復元できるかどうかを考察する。
この目的のために,マルチレベル予測機能を連続カメラトラジェクトリへ直接変換するジオメトリ条件付きナビゲーションワールドアクションモデルDiffWAMを提案する。
Grid-Motionモジュールは空間的時間的動きの関連を保ち、Latnt2Poseはそれらを第1フレームの形状でグラウンドし、計量的に意味のある3Dの動きを復元する。
完全なビデオロールアウトと幾何再構成は、オフラインの監視、将来のビデオデコーディング、デプロイ中の複数フレームの再構築のためにのみ必要である。
さらに,FastDreamerを導入し,予測計算と幾何計算を同時進行飛行と重なり合わせ,連続UAV実行のためのタイムスタンプ対応非同期軌道ハンドオフを実行する。
DiffWAMは1,000サンプルのDiffWAM-1000ベンチマークで0.3492mの軌道RMSEと74.40%のエンドポイント成功率を達成する一方、実世界の代表的な実験では、制約された軌道、軌道、S字型飛行、多段飛行などの複雑な挙動が示されている。
搭載されたDiffWAM-Flash実装はNVIDIA Jetson AGX Thorで1.08sのモデル-パイプライン遅延に達した。
これらの結果から,映像の予測表現を連続的な3次元動作に効果的に基礎付けることが可能であることが示唆された。
プロジェクトページ: https://zzmmzzm.github.io/diffwam.github.io/
関連論文リスト
- SimWAM: A Simple World Action Model for End-to-End Autonomous Driving [66.93548079427477]
我々は、将来の映像予測を訓練時間監視信号として活用する、シンプルで効果的なWAMであるSimWAMを提案する。
孤立した注意マスクは、将来のフレームとは独立して行動予測を保持し、推論時に明示的な将来のフレーム生成なしに軌道予測を可能にする。
我々のSimWAMは、NAVSIM上の91.5 PDMSを達成し、最先端のWAMベースのプランナをはるかに低レイテンシで超越し、ゼロショットをnuScenesに転送する。
論文 参考訳（メタデータ） (2026-08-07T17:59:09Z) - FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation [18.092834753587454]
FlowPilotは、UAVナビゲーションを深度からリアルタイムに行うための、コンパクトなワールドアクションモデルである。
デュアルストリーム・オブ・トランスフォーマーは、ビデオとアクションの専門家を共通の注意で結合し、将来的な予測と軌跡生成を相互に通知する。
論文 参考訳（メタデータ） (2026-08-01T12:43:31Z) - MotionMAR: Multi-scale Auto-Regressive Human Motion Reconstruction from Sparse Observations [51.837372131319285]
MotionMARは、スパース観測からの運動再構成のためのフレームワークである。
まず、人間の動きのグローバルな軌跡を推定し、時間的詳細を徐々に洗練する。
MotionMARは、AMASSデータセット上で最先端の精度を達成する。
論文 参考訳（メタデータ） (2026-06-22T08:15:56Z) - Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors [54.51965288351254]
ストリーミングビデオからリアルタイムな空間的理解を可能にするオンライン3次元視覚言語モデルを提案する。
提案手法では,LLMの次なる予測に基づく自己回帰型ストリーミング制御モデルを用いて,応答のタイミングを学習する。
3D言語データのストリーミングの難しさに対処するため、我々はさらにスケーラブルなデータ生成パイプラインを開発する。
論文 参考訳（メタデータ） (2026-06-05T04:16:24Z) - TrajLoom: Dense Future Trajectory Generation from Video [17.78215938363174]
本稿では,過去の映像から将来の軌跡や軌跡を予測するフレームワークを提案する。
最先端手法と比較して,提案手法は24フレームから81フレームまでの予測地平線を延長する。
予測された軌道は、下流のビデオ生成と編集を直接サポートする。
論文 参考訳（メタデータ） (2026-03-23T22:10:58Z) - End-to-End Spatial-Temporal Transformer for Real-time 4D HOI Reconstruction [74.31251139839047]
THOは、ビデオと3Dテンプレートから、人間の動きと調整された物体の動きを前方に予測する、エンドツーエンドの空間-時間変換器である。
実験により、THOは1つの4090 GPU上で31.5 FPSの推論速度で動作し、以前の最適化ベースの手法よりも600倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2026-03-15T15:21:36Z) - Trace Anything: Representing Any Video in 4D via Trajectory Fields [98.85848134960172]
軌道場 (Trajectory Field) は、各フレーム内の各ピクセルに時間の連続した3次元軌跡関数を割り当てる密集写像である。
我々は,1つのフィードフォワードパスで軌道場全体を予測するニューラルネットワークであるTrace Anythingを紹介する。
私たちは、新しいプラットフォームからのデータを含む大規模な4Dデータに基づいて、Trace Anythingモデルをトレーニングしました。
論文 参考訳（メタデータ） (2025-10-15T17:59:04Z) - Towards Efficient Real-Time Video Motion Transfer via Generative Time Series Modeling [7.3949576464066]
本研究では,モーショントランスファー対応ビデオアプリケーションにおいて,帯域幅を大幅に最適化する深層学習フレームワークを提案する。
複雑な動きを効果的に捉えるために,キーポイントを検出することで動的物体を符号化する第1次運動モデル(FOMM)を用いる。
ビデオアニメーションと再構成のために, 平均絶対誤差, 共同埋め込み予測アーキテクチャ埋め込み距離, 構造類似度指数, 平均ペアワイズ変位の3つの指標を用いて, 実験結果を検証した。
論文 参考訳（メタデータ） (2025-04-07T22:21:54Z) - Delta-Triplane Transformers as Occupancy World Models [57.16979927973973]
Occupancy World Models (OWMs) は、知的運動計画を支援するために、環境の3次元ボキセル化表現を通して将来のシーンを予測することを目的としている。
本稿では,自律運転のための新しい4DOWMであるDelta-Triplane Transformers (DTT)を提案する。
DTTは1.44$times$ speedup (26 FPS)を最先端に提供し、平均IoUを30.85に改善し、平均絶対計画誤差を1.0mに下げる。
論文 参考訳（メタデータ） (2025-03-10T13:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。