論文の概要: ProtoVis-Nav: Prototypical Visual Imagination for Visual-Spatial Aligned UAV Navigation
- arxiv url: http://arxiv.org/abs/2611.17330v1
- Date: Thu, 12 Nov 2026 18:59:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.602835
- Title: ProtoVis-Nav: Prototypical Visual Imagination for Visual-Spatial Aligned UAV Navigation
- Title(参考訳): ProtoVis-Nav:視覚空間適応型UAVナビゲーションのためのプロトタイプビジュアルイマジネーション
- Abstract要約: 視覚言語ナビゲーション(VLN)は、3Dモーション予測の小さな誤差がナビゲーションエラーや衝突を引き起こす可能性があるため、無人航空機(UAV)にとって非常に困難である。
本稿では,ProtoVis-Navと略してプロトタイプビジュアル・イマジネーション・フレームワークを導入する。
- 参考スコア(独自算出の注目度): 26.903382387231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision language navigation (VLN) is very challenging for Unmanned Aerial Vehicles (UAVs) since small errors in 3D motion prediction can lead to navigation errors and collisions. Unable to fathom execution outcomes in 3D environments, existing methods often struggle to predict accurate navigation waypoints from language instructions. To solve this, we introduce the Prototypical Visual Imagination framework, shortened as ProtoVis-Nav, which forces the model to imagine an outcome-associated local visual representation for the intended next UAV movement. Specifically, we predict feature prototypes and use their linear combination to estimate the visual feature of the target region. In this manner, the VLN model first imagines the local visual representation of the next intended location, and then uses predicted prototypes as context for generating the final action, promoting alignment between visual context and waypoint outputs. Extensive experiments demonstrate the effectiveness of the ProtoVis-Nav framework and show substantial improvements over existing baselines.
- Abstract(参考訳): 視覚言語ナビゲーション(VLN)は、3Dモーション予測の小さな誤差がナビゲーションエラーや衝突を引き起こす可能性があるため、無人航空機(UAV)にとって非常に困難である。
3D環境におけるファソムの実行結果が得られないため、既存の手法は言語命令から正確なナビゲーション経路を予測するのに苦労することが多い。
この問題を解決するために,プロトタイプなビジュアル・イマジネーション・フレームワークをProtoVis-Navと略して導入した。
具体的には,特徴のプロトタイプを予測し,その線形組み合わせを用いて対象領域の視覚的特徴を推定する。
このようにして、VLNモデルはまず次の意図する位置の局所的な視覚表現を想像し、次に予測されたプロトタイプを最終的なアクションを生成するコンテキストとして使用し、視覚的コンテキストとウェイポイント出力のアライメントを促進する。
大規模な実験はProtoVis-Navフレームワークの有効性を示し、既存のベースラインよりも大幅に改善されている。
関連論文リスト
- HAVANA: A Hierarchical Video-Action Model for Vision-Language Navigation [7.965416462318697]
ビデオアクションモデル(VAM)は、ナビゲーションの予測表現を学ぶための有望な方法を提供する。
既存のVAMは、単一のプロセスで視覚的未来と局所的な軌跡を共同で予測する。
本稿では,動的局所計画から予測推論を分離するデュアルシステムVAMであるHAVANAを紹介する。
論文 参考訳(メタデータ) (2026-10-16T18:48:16Z) - AirForesight: Current-to-Future Spatial Map Imagination with Cross-Space Planning Consistency for UAV-VLN [28.176475934194638]
UAV-VLN (Unmanned Aerial Vehicle Vision-Language Navigation) は、無人の無人航空機である。
AirForesightは、UAV-VLNのための現在から将来の空間マップイマジネーションフレームワークである。
論文 参考訳(メタデータ) (2026-08-13T05:18:23Z) - UniNav: A Unified World-Action Diffusion Model for Visual Navigation [11.306354032449603]
将来的な視覚的観察と連続的なウェイポイント軌跡を生成する統一世界行動モデルUniNavを提案する。
履歴フレームとゴールイメージが与えられた場合、UniNavは単一のトランスフォーマー内で視覚トークンとウェイポイントトークンを共同で識別する。
ナビゲーションベンチマークの実験では、UniNavはすべてのデータセットでATEで最強のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-08-04T07:15:45Z) - Aerial World Model for Long-horizon Visual Generation and Navigation in 3D Space [48.19308247102762]
本稿では,過去のフレームや行動に照らされた将来の視覚的観察を予測する航空ナビゲーションワールドモデルANWMを提案する。
ANWMは4-DoF UAV軌道で訓練され、物理学にインスパイアされたモジュールであるFuture Frame Projectionを導入した。
実験により、ANWMは長距離視覚予測において既存の世界を著しく上回り、大規模環境でのUAV航法成功率を向上させることが示された。
論文 参考訳(メタデータ) (2025-12-26T06:22:39Z) - Aerial Vision-and-Language Navigation with Grid-based View Selection and Map Construction [102.70482302750897]
Aerial Vision-and-Language Navigation (Aerial VLN)は、人間の指示に従って空中3D環境をナビゲートする無人航空機エージェントの取得を目的としている。
より長い航法、より複雑な3Dシーン、垂直アクションと水平アクションの相互作用の無視により、従来の手法はうまく機能しない。
グリッドベースのビュー選択タスクとして空のVLN動作予測を定式化する,グリッドベースのビュー選択フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-14T05:20:43Z) - UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。
エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。
UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-11-25T02:44:59Z) - LangNav: Language as a Perceptual Representation for Navigation [63.90602960822604]
視覚・言語ナビゲーション(VLN)における知覚表現としての言語の利用について検討する。
提案手法では,画像キャプションや物体検出に市販の視覚システムを用いて,エージェントのエゴセントリックなパノラマビューを各ステップで自然言語記述に変換する。
論文 参考訳(メタデータ) (2023-10-11T20:52:30Z) - Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling [65.99956848461915]
VLN(Vision-and-Language Navigation)は、エージェントが目標を達成するために3D環境を移動する方法を決定するタスクである。
VLNタスクの問題点の1つは、対話型環境において、人間に注釈を付けた指示で十分なナビゲーションパスを収集することは困難であるため、データの不足である。
本稿では,低品質な拡張データではなく,効果的な条件を考慮可能な,対向駆動の反実的推論モデルを提案する。
論文 参考訳(メタデータ) (2019-11-17T18:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。