論文の概要: MotionScape: A Large-Scale Real-World Highly Dynamic UAV Video Dataset for World Models

• arxiv url: http://arxiv.org/abs/2604.07991v1
• Date: Thu, 09 Apr 2026 08:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.816381
• Title: MotionScape: A Large-Scale Real-World Highly Dynamic UAV Video Dataset for World Models
• Title（参考訳）: MotionScape:世界モデルのための大規模リアルタイム高ダイナミックUAVビデオデータセット
• Authors: Zile Guo, Zhan Chen, Enze Zhu, Kan Wei, Yongkang Zou, Xiaoxuan Liu, Lei Wang,
• Abstract要約: 我々は,世界モデリングのための高ダイナミックな動きを持つ大規模実世界のUAVviewビデオデータセットであるMotionScapeを紹介する。 MotionScapeには4K UAVビュービデオが30時間以上含まれており、合計4.5Mのフレームがある。 このデータセットはセマンティックで幾何学的に整合したトレーニングサンプルを備えており、様々な現実世界のUAVビデオが正確な6-DoFカメラ軌道ときめ細かい自然言語記述と密結合されている。
• 参考スコア（独自算出の注目度）: 6.680381992984212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in world models have demonstrated strong capabilities in simulating physical reality, making them an increasingly important foundation for embodied intelligence. For UAV agents in particular, accurate prediction of complex 3D dynamics is essential for autonomous navigation and robust decision-making in unconstrained environments. However, under the highly dynamic camera trajectories typical of UAV views, existing world models often struggle to maintain spatiotemporal physical consistency. A key reason lies in the distribution bias of current training data: most existing datasets exhibit restricted 2.5D motion patterns, such as ground-constrained autonomous driving scenes or relatively smooth human-centric egocentric videos, and therefore lack realistic high-dynamic 6-DoF UAV motion priors. To address this gap, we present MotionScape, a large-scale real-world UAV-view video dataset with highly dynamic motion for world modeling. MotionScape contains over 30 hours of 4K UAV-view videos, totaling more than 4.5M frames. This novel dataset features semantically and geometrically aligned training samples, where diverse real-world UAV videos are tightly coupled with accurate 6-DoF camera trajectories and fine-grained natural language descriptions. To build the dataset, we develop an automated multi-stage processing pipeline that integrates CLIP-based relevance filtering, temporal segmentation, robust visual SLAM for trajectory recovery, and large-language-model-driven semantic annotation. Extensive experiments show that incorporating such semantically and geometrically aligned annotations effectively improves the ability of existing world models to simulate complex 3D dynamics and handle large viewpoint shifts, thereby benefiting decision-making and planning for UAV agents in complex environments. The dataset is publicly available at https://github.com/Thelegendzz/MotionScape
• Abstract（参考訳）: 近年の世界モデルの進歩は、物理的な現実をシミュレートする強力な能力を示しており、インテリジェンスを具現化するための重要な基盤となっている。 UAVエージェントにとって、複雑な3Dダイナミクスの正確な予測は、自律的なナビゲーションと制約のない環境での堅牢な意思決定に不可欠である。 しかし、UAVビューに典型的な非常にダイナミックなカメラ軌道の下では、既存の世界モデルは時空間の物理的一貫性を維持するのに苦労することが多い。 既存のデータセットの多くは、地上拘束された自動運転シーンや、比較的スムーズな人間中心のエゴセントリックなビデオのような、2.5Dの動作パターンが制限されているため、現実的な6-DoF UAVの動前の6-DoFは欠落している。 このギャップに対処するために、我々は、世界モデリングのための高度にダイナミックなモーションを持つ大規模現実のUAVビュービデオデータセットであるMotionScapeを紹介した。 MotionScapeには4K UAVビュービデオが30時間以上含まれており、合計4.5Mのフレームがある。 このデータセットはセマンティックで幾何学的に整合したトレーニングサンプルを備えており、様々な現実世界のUAVビデオが正確な6-DoFカメラ軌道ときめ細かな自然言語記述と密結合されている。 このデータセットを構築するために,CLIPベースの関連フィルタリング,時間分割,トラジェクトリリカバリのための堅牢な視覚SLAM,大規模言語モデル駆動型セマンティックアノテーションを統合した多段階自動処理パイプラインを開発した。 このような意味的および幾何学的に整合したアノテーションを組み込むことで、複雑な3Dダイナミクスをシミュレートし、大きな視点シフトを処理できる既存の世界モデルの能力を効果的に改善し、複雑な環境でのUAVエージェントの意思決定と計画の利点が示される。 データセットはhttps://github.com/Thelegendzz/MotionScapeで公開されている。

関連論文リスト

• VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
  VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。 当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。 これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
  論文  参考訳（メタデータ） (2026-01-08T17:28:52Z)
• FoundationMotion: Auto-Labeling and Reasoning about Spatial Movement in Videos [109.99404241220039]
  大規模なモーションデータセットを構築する完全自動データキュレーションパイプラインであるFoundationMotionを紹介した。 提案手法は,まずビデオ中のオブジェクトを検出してトラジェクトリを抽出し,次にこれらのトラジェクトリとビデオフレームを大規模言語モデルで活用する。 我々はNVILA-Video-15BやQwen2.5-7Bなどのオープンソースモデルを微調整し、性能を損なうことなく動作理解を大幅に改善した。
  論文  参考訳（メタデータ） (2025-12-11T18:53:15Z)
• DynamicVerse: A Physically-Aware Multimodal Framework for 4D World Modeling [67.95038177144554]
  物理スケールでマルチモーダルな4DワールドモデリングフレームワークであるDynamicVerseを紹介した。 我々は視覚、幾何学、マルチモーダルモデルを用いて、メートルスケールの静的幾何、実世界の動的運動、インスタンスレベルのマスク、そして全体論的キャプションを解釈する。 DynamicVerseは、100K以上のビデオと800K以上の注釈付きマスク、インターネットビデオから10M以上のフレームからなる大規模なデータセットを提供する。
  論文  参考訳（メタデータ） (2025-12-02T18:24:27Z)
• Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
  身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。 MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。 MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
  論文  参考訳（メタデータ） (2025-11-17T02:17:04Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。