論文の概要: Aero-World: Action-Conditioned Aerial Video Generation from Inertial Controls

• arxiv url: http://arxiv.org/abs/2605.19728v1
• Date: Tue, 19 May 2026 12:02:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.314222
• Title: Aero-World: Action-Conditioned Aerial Video Generation from Inertial Controls
• Title（参考訳）: エアロワールド:慣性制御によるアクションコンディション空中映像生成
• Authors: Abdul Mohaimen Al Radi, Kunyang Li, Yuzhang Shang, Mubarak Shah, Yu Tian,
• Abstract要約: 我々は,事前学習した画像から映像への拡散モデルを制御可能な空中ビデオ生成装置に変換する方法であるtextbfAero-World を提案する。 実ビデオ-IMUペアで独立して訓練された冷凍潜伏空間物理学プローブは、LoRA微調整中に慣性・一貫性の異なる監視を提供する。 AeroBenchでは、アクションのみの微調整で平均AASを57.7から63.6に改善し、AirScapeよりも優れた品質制御トレードオフを提供する。
• 参考スコア（独自算出の注目度）: 57.166020875486474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation video models produce visually impressive results, but their use in embodied AI remains limited because they are primarily trained on natural language rather than low-level control signals. This limitation is especially pronounced for aerial flight, where motion occurs in unconstrained 6-DoF space and small errors in ego-motion can produce large trajectory drift. Generating aerial videos that follow fine-grained inertial actions can support scalable training and evaluation of aerial agents by providing a controllable proxy for real-world or expensive simulation data. To address this problem, we propose \textbf{Aero-World}, a method for converting a pretrained image-to-video diffusion model into a controllable aerial video generator. Aero-World injects sequences of translational acceleration and angular velocity into a pretrained latent diffusion transformer through an action-token stream. A frozen latent-space Physics Probe, trained independently on real video--IMU pairs, provides differentiable inertial-consistency supervision during LoRA finetuning while avoiding computationally expensive video decoding. We further propose \textbf{AeroBench}, a benchmark for evaluating whether generated drone videos adhere to low-level action signals. AeroBench uses Action Alignment Score (AAS) to measure agreement with commanded inertial actions and Physical Consistency Rate (PCR) to measure temporal motion stability. On AeroBench, Aero-World improves mean AAS from 57.7 to 63.6 over action-only finetuning and gives a stronger quality-control trade-off than AirScape, with lower FVD (596.5 vs. 1058.6), higher SSIM (0.595 vs. 0.505), and higher Flow-IMU correlation (0.44 vs. 0.20). These results suggest that frozen Physics Probe supervision is a practical mechanism for adapting pretrained video generators toward more action-aligned aerial motion.
• Abstract（参考訳）: ファンデーションビデオモデルは視覚的に印象的な結果をもたらすが、その具体化されたAIの使用は、低レベルな制御信号ではなく、主に自然言語で訓練されているため、制限されている。 この制限は、非拘束の6-DoF空間で動きが起こり、エゴモーションでの小さな誤差が大きな軌道ドリフトを生じさせる航空飛行において特に顕著である。 微粒な慣性行動に従う空中ビデオの生成は、現実または高価なシミュレーションデータのための制御可能なプロキシを提供することで、航空エージェントのスケーラブルなトレーニングと評価を支援することができる。 この問題に対処するために,事前学習した画像から映像への拡散モデルを制御可能な空中ビデオ生成器に変換する方法である \textbf{Aero-World} を提案する。 Aero-Worldは、アクトトーケンストリームを介して、事前訓練された潜在拡散変圧器に翻訳加速度と角速度のシーケンスを注入する。 実ビデオ-IMUペアで独立して訓練された冷凍潜伏空間物理プローブは、計算コストのかかるビデオ復号を回避しつつ、LoRA微調整中の慣性一貫性の異なる監視を提供する。 さらに,生成されたドローンビデオが低レベル動作信号に付着するかどうかを評価するためのベンチマークである‘textbf{AeroBench} も提案する。 AeroBenchはAAS(Action Alignment Score)を使用して、指示された慣性行動との一致を測定する。 AeroBenchでは、アクションのみの微調整で平均AASを57.7から63.6に改善し、より低いFVD(596.5 vs. 1058.6)、より高いSSIM(0.595 vs. 0.505)、より高いFlow-IMU相関(0.44 vs. 0.20)を持つAirScapeよりも高い品質制御トレードオフを提供する。 これらの結果から, 凍結物理プローブの監視は, 予め訓練した映像生成装置をよりアクション整列な空中運動に適応させるための実用的なメカニズムであることが示唆された。

関連論文リスト

• EVA: Aligning Video World Models with Executable Robot Actions via Inverse Dynamics Rewards [47.255807408091755]
  ビデオ生成モデルは、ロボット工学の世界モデルとしてますます使われている。 現在のビデオワールドモデルは、明示的な実行可能性の制約を欠いている。 本稿では,ビデオワールドモデルを調整するための強化学習フレームワークであるExecutable Video Alignment (EVA)を紹介する。
  論文  参考訳（メタデータ） (2026-03-18T15:02:19Z)
• Physics-infused Learning for Aerial Manipulator in Winds and Near-Wall Environments [3.895172208362693]
  空中操作(AM)は、受動的観測から高高度およびその他の到達不能な環境での接触操作まで、UAV能力を拡大する。 本稿では,物理に基づくブレード要素モデルと学習に基づく残留力推定器を統合し,外乱補償のためのロータ速度割当戦略を組み込むことにより,統一的な制御フレームワークを実現する。 その結果, 従来の手法よりも外乱推定と軌道追跡精度が向上し, 困難な空力条件下でのロバストな壁面接触実行が可能となった。
  論文  参考訳（メタデータ） (2026-03-08T22:08:15Z)
• DiffusionCinema: Text-to-Aerial Cinematography [2.186077977059593]
  ドローンを手動で操縦する代わりに、ユーザーは望むショットを単純に記述する。 我々のシステムは、オンボードカメラからの初期の視覚的スナップショットと共にエンコードする。 生成された飛行軌道は、UAVによって自律的に実行される。
  論文  参考訳（メタデータ） (2026-01-24T11:12:30Z)
• Global End-Effector Pose Control of an Underactuated Aerial Manipulator via Reinforcement Learning [15.634803296068009]
  ロボットアームとマルチロータードローンを組み合わせた空中マニピュレータは、アームの重量と機械的複雑さに厳しい制約に直面している。 本研究では,2自由度2自由度(DoF)アームを,6自由度エンドエフェクタのフルポーズ制御が可能な差動機構を用いて検討した。
  論文  参考訳（メタデータ） (2025-12-24T10:00:01Z)
• Real-Time Motion-Controllable Autoregressive Video Diffusion [79.32730467857535]
  本稿では,AR-Dragを提案する。このAR-Dragは,多様なモーション制御を備えたリアルタイム画像・ビデオ生成のための,RLで拡張された最初の数ステップのARビデオ拡散モデルである。 まず,基本動作制御をサポートするためのベースI2Vモデルを微調整し,さらに軌道ベース報酬モデルによる強化により改良する。 本設計では、自己学習機構を通じてマルコフ特性を保存し、ステップを選択的に分解することで訓練を加速する。
  論文  参考訳（メタデータ） (2025-10-09T12:17:11Z)
• Learning a Single Near-hover Position Controller for Vastly Different Quadcopters [56.37274861303324]
  本稿では,クワッドコプターのための適応型ニアホバー位置制御器を提案する。 これは、非常に異なる質量、大きさ、運動定数を持つクワッドコプターに展開することができる。 また、実行中に未知の障害に迅速に適応する。
  論文  参考訳（メタデータ） (2022-09-19T17:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。