論文の概要: VTInstructor: Visual Trajectory Prompting for Navigation Instruction Generation in Continuous Environments
- arxiv url: http://arxiv.org/abs/2608.15284v1
- Date: Sat, 15 Aug 2026 15:31:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.248207
- Title: VTInstructor: Visual Trajectory Prompting for Navigation Instruction Generation in Continuous Environments
- Title（参考訳）: VTインストラクタ: 連続環境におけるナビゲーションインストラクタ生成のための視覚軌道プロンプト
- Abstract要約: 連続環境のための最初のVLN命令生成フレームワークであるVTInstructorを提案する。
EDTCは長いRGB軌跡をナビゲーションクリティカルに凝縮し、VTPはパス、ターン、ゴールキューをこれらのアンカーにオーバーレイし、VTModはその結果の軌跡信号をビジュアルエンコーダに注入する。
挑戦的なR2R-CEとRxR-CE Val Unseenベンチマークでは、VTInstructorが標準のNLGメトリクスにまたがって新しい最先端の技術を設定している。
- 参考スコア（独自算出の注目度）: 14.629408091049982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Navigation instruction generation from ego-centric RGB video in continuous environments is an important yet challenging task for human-robot interaction and scalable dataset construction. Prior instruction generators assume discrete viewpoint graphs with panoramic observations, where trajectory structure is explicit; in continuous environments, however, the agent receives only a dense RGB stream, making trajectory cues difficult to recover. We propose VTInstructor, the first VLN instruction generation framework for continuous environments. Our key idea is to convert implicit trajectory geometry into explicit visual trajectory prompts: EDTC condenses long RGB trajectories into navigation-critical keyframes, VTP overlays path, turn, and goal cues onto these anchors, VTMod injects the resulting trajectory signals into the visual encoder, and VT-GRPO further calibrates this spatial injection during training, all without requiring a navigation graph, pre-built map, or scene reconstruction. On the challenging R2R-CE and RxR-CE Val Unseen benchmarks, VTInstructor sets a new state of the art across all standard NLG metrics, surpassing the strongest baseline by +0.357 CIDEr and +0.109 CIDEr, respectively. Beyond automatic metrics, VTInstructor-generated instructions raise a frozen follower's success rate to 63.3%, a +14.7 percentage-point gain over the best competing instruction source, and provide consistent data augmentation gains of +3 SR points on downstream navigation tasks.
- Abstract（参考訳）: 連続環境におけるエゴ中心のRGBビデオからのナビゲーション命令生成は、人間とロボットのインタラクションとスケーラブルなデータセット構築において重要な課題である。
従来のインストラクションジェネレータは、軌跡構造が明確であるパノラマ的な観察を伴う離散的な視点グラフを仮定するが、連続環境においては、エージェントは密度の高いRGBストリームのみを受け取り、軌跡の回復が困難である。
連続環境のための最初のVLN命令生成フレームワークであるVTInstructorを提案する。
EDTCは長いRGB軌跡をナビゲーションクリティカルなキーフレームに変換し、VTPはパス、ターン、ゴールキューをこれらのアンカーにオーバーレイし、VTModは結果の軌跡信号をビジュアルエンコーダに注入し、VT-GRPOは、ナビゲーショングラフ、プレビルドマップ、シーン再構築を必要とせずに、トレーニング中にこの空間注入を校正する。
挑戦的なR2R-CEとRxR-CE Val Unseenのベンチマークでは、VTInstructorはすべての標準NLGメトリクスに対して、それぞれ+0.357 CIDErと+0.109 CIDErで最強のベースラインを越えながら、新しい最先端技術を設定する。
自動メトリクス以外にも、VTインストラクタが生成した命令は、凍ったフォロワーの成功率を63.3%に引き上げ、最高の命令ソースよりも+14.7パーセント向上し、下流のナビゲーションタスクで+3SRポイントの一貫性のあるデータ増加を提供する。
関連論文リスト
- LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。
ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
論文 参考訳（メタデータ） (2026-08-31T15:08:53Z) - Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation [68.02899606570223]
本稿では,効率的なエンボディナビゲーションのための統合フレームワークであるTAMP-Navを提案する。
まず、ナビゲーションを2次元の視覚座標に再構成するPixel-to-3D Action Formulation(Point)を導入する。
次に,Selective Reasoning and Anchor-Trajectory Memory Mechanism (Think and Memorize)を提案する。
論文 参考訳（メタデータ） (2026-08-18T08:37:08Z) - DynFly: Dynamic-Aware Continuous Trajectory Generation for UAV Vision-Language Navigation in Urban Environments [55.73595346639892]
我々は高レベルナビゲーション推論と実行可能なUAV動作を橋渡しするDynFlyを提案する。
DynFlyはB-スプライン制御点空間のエキスパート軌道を表し、Spline-DiTジェネレータを用いて条件付き軌道生成を学習する。
OpenUAV UAV-VLNベンチマークの実験では、DynFlyは航法性能と軌道品質の両方を改善している。
論文 参考訳（メタデータ） (2026-06-30T13:33:48Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - SwiTrack: Tri-State Switch for Cross-Modal Object Tracking [74.15663758681849]
クロスモーダルオブジェクトトラッキング(CMOT)は、ビデオストリームが異なるモード間で切り替える間、ターゲットの一貫性を維持する新しいタスクである。
SwiTrackは3つの特別なストリームを配置することでCMOTを再定義する新しいステートスイッチングフレームワークである。
論文 参考訳（メタデータ） (2025-11-20T10:52:54Z) - VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。
本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
論文 参考訳（メタデータ） (2025-06-20T17:59:59Z) - ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments [1.9566515100805284]
VLN-CEは、自然言語命令に基づいて連続空間をナビゲートするエージェントを必要とする。
本稿では,マルチグラニュラリティ認識と命令認識推論による性能向上を目的としたナビゲーションブースターST-Boosterを紹介する。
大規模な実験と性能解析を行い、ST-Boosterが既存の最先端手法より優れていることを示した。
論文 参考訳（メタデータ） (2025-04-14T03:29:08Z) - Reinforced Structured State-Evolution for Vision-Language Navigation [42.46176089721314]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)タスクは、自然言語の指示に従って遠隔地へ移動するための実施エージェントを必要とする。
従来の手法は通常、シークエンスモデル(TransformerやLSTMなど)をナビゲータとして採用していた。
本稿では,VLNの環境レイアウトの手がかりを効果的に維持するために,構造化状態進化(SEvol)モデルを提案する。
論文 参考訳（メタデータ） (2022-04-20T07:51:20Z) - Bridging the Gap Between Learning in Discrete and Continuous
Environments for Vision-and-Language Navigation [41.334731014665316]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)における既存の作業のほとんどは、離散的または連続的な環境に焦点を当てている。
ナビゲーション中に候補となるウェイポイントの集合を生成するための予測器を提案する。
予測された経路点を持つ連続環境を航行するエージェントは,低レベル動作を使用するエージェントよりも有意に優れた性能を示す。
論文 参考訳（メタデータ） (2022-03-05T14:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。