論文の概要: TADreamer: Zero-Shot Language-Guided 3D Navigation for Terrestrial-Aerial Bimodal Robots via Video Imagination
- arxiv url: http://arxiv.org/abs/2609.19824v1
- Date: Thu, 17 Sep 2026 07:32:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.152568
- Title: TADreamer: Zero-Shot Language-Guided 3D Navigation for Terrestrial-Aerial Bimodal Robots via Video Imagination
- Title（参考訳）: TADreamer: ビデオイマジネーションによる地上空中バイモーダルロボットのためのゼロショット言語誘導3Dナビゲーション
- Abstract要約: 本稿では,タスク固有のトレーニングや微調整を伴わずに,計測幾何で映像化されたナビゲーションを基盤とするフレームワークであるTADreamerを提案する。
視覚言語モデルは、オンボードの観察と指示をナビゲーションプロンプトに変換する。
選択されたビデオは、地上または空中モードでアノテートされた3Dのウェイポイントに再構成される。
- 参考スコア（独自算出の注目度）: 31.043825914453276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-guided navigation for terrestrial-aerial bimodal robots requires selecting routes and locomotion modes that match scene context and task intent. Generated videos can represent such motion sequences, but recovering metrically consistent navigation references from them is challenging because of scale ambiguity and axis-dependent geometric distortions. We present TADreamer, a zero-shot framework that grounds video-imagined navigation in measured geometry without task-specific training or fine-tuning. A vision-language model translates onboard observations and instructions into navigation prompts, selects valid generated videos, and provides corrective feedback when regeneration is needed. The selected video is reconstructed into 3D waypoints annotated with terrestrial or aerial modes. A two-stage calibration procedure uses field-of-view constraints to initialize scale estimation, then refines axis-dependent scales, rotation, and translation by registering the reconstructed point cloud to measured geometry. The calibrated waypoints and mode labels guide a planner that incorporates measured geometry for robot execution. Real-world experiments demonstrate navigation across seven indoor and outdoor scenarios. With five candidates per round, usable videos are obtained within two rounds in all seven scenarios. On the calibration observations, our method reduces mean absolute depth error by 87.7% and mean absolute relative depth error by 86.3% compared with NavDreamer.
- Abstract（参考訳）: 陸両用バイモーダルロボットのための言語誘導ナビゲーションには,シーンコンテキストとタスク意図に合わせた経路選択と移動モードが必要である。
生成したビデオはこのような動きのシーケンスを表現できるが、スケールのあいまいさと軸依存の幾何歪みのために、距離的に一貫したナビゲーション参照を復元することは困難である。
タスク固有のトレーニングや微調整を必要とせずに,ビデオ映像によるナビゲーションを計測幾何で構築するゼロショットフレームワークであるTADreamerを提案する。
視覚言語モデルは、オンボードでの観察と指示をナビゲーションプロンプトに変換し、有効な生成ビデオを選択し、再生が必要なときに修正フィードバックを提供する。
選択されたビデオは、地上または空中モードでアノテートされた3Dのウェイポイントに再構成される。
二段階キャリブレーション法では、フィールド・オブ・ビューの制約を用いてスケール推定を初期化し、再構成された点雲を計測幾何に登録することで軸依存のスケール、回転、翻訳を洗練する。
キャリブレーションされたウェイポイントとモードラベルは、測定された幾何学をロボットの実行に組み込んだプランナーを案内する。
実際の実験では、屋内と屋外の7つのシナリオでナビゲーションを実証している。
1ラウンドにつき5人の候補者が参加し、使用可能なビデオは7つのシナリオすべてで2ラウンド以内に取得される。
キャリブレーション観測では,NavDreamerと比較して平均絶対深度誤差を87.7%,平均絶対相対深度誤差を86.3%削減する。
関連論文リスト
- Visual Cue Guided Video Planning for Generalizable Robot Navigation [12.951864480301294]
CueNavは、ビジュアルキューガイド付きビデオプランニングとエンボディメント固有の逆ダイナミクスモデル(IDM)を組み合わせたモデルベースのナビゲーションフレームワークである。
グローバルタスクコンテキストを符号化するビジュアルキューにより、CueNavはキューなしで計画するよりも迷路ナビゲーションで約2倍の成功を達成している。
以上の結果から,エボディメント特異的なアクショングラウンドディングを用いた視覚誘導型映像プランニングが,汎用的なナビゲーションフレームワークへの道筋をたどっていることが示唆された。
論文 参考訳（メタデータ） (2026-09-15T07:11:21Z) - TAPVid-MV: A Benchmark for Tracking Any Point in 3D Across Multiple Views [50.26507994908593]
この設定の最初のベンチマークであるTAPVid-MV(Tracking Any Point in Video across Multiple Views)を紹介します。
キュレートされた284のシーケンス、1,142のキャリブレーションされたカメラストリーム、109,769のトラックが、屋内と屋外のドメインにまたがる7つのサブセットにまたがっている。
本研究では,センサ深度,LiDAR,SLAM,SfM点,ヒューマンメッシュ,ポーズされたオブジェクトメッシュ,シミュレーションといった,データセット固有の補助的モダリティを用いてこれらのトラジェクトリを解析し,各シーケンスとトラジェクトリを人間のアノテーションによって視覚的に検証する。
論文 参考訳（メタデータ） (2026-09-01T21:58:51Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - DreamToNav: Generalizable Navigation for Robots via Generative Video Planning [1.964570633684439]
私たちはDreamToNavを紹介します。DreamToNavは、生成ビデオモデルを使用して、直感的で人力によるループ制御を可能にする、新しい自律型ロボットフレームワークです。
室内ナビゲーション作業において,車輪付き移動ロボットと四足歩行ロボットの両方に対するアプローチを評価する。
DreamToNavは76.7%の成功率で、最終目標誤差は0.05-0.10m以内、軌道追跡誤差は0.15m以下である。
論文 参考訳（メタデータ） (2026-03-06T11:57:10Z) - NavDreamer: Video Models as Zero-Shot 3D Navigators [10.105345998118915]
本稿では,生成的映像モデルを言語命令と軌跡間の普遍的なインターフェースとして活用する3次元ナビゲーションのための映像ベースのフレームワークを提案する。
我々の主要な仮説は、映像が情報と物理力学をエンコードし、インターネットスケールの可用性と組み合わせることで、ナビゲーションにおけるゼロショットの強力な一般化を可能にする、というものである。
論文 参考訳（メタデータ） (2026-02-10T13:24:12Z) - Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。
アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。
モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
論文 参考訳（メタデータ） (2025-07-05T14:15:52Z) - ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints [94.60414567852536]
長距離航法には、計画と局所的な移動可能性の推論の両方が必要である。
学習と計画を統合する学習に基づくアプローチを提案する。
ViKiNGは、画像ベースの学習コントローラを利用できる。
論文 参考訳（メタデータ） (2022-02-23T02:14:23Z) - Learning to Set Waypoints for Audio-Visual Navigation [89.42192208471735]
音声視覚ナビゲーションでは、エージェントが視覚と音の両方を使って複雑な3D環境をインテリジェントに移動し、音源を見つける。
既存のモデルは、エージェント動作の一定の粒度で動作することを学び、オーディオ観測の単純な再帰的な集約に依存する。
本稿では,2つの重要な要素を持つ音声視覚ナビゲーションに対する強化学習手法を提案する。
論文 参考訳（メタデータ） (2020-08-21T18:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。