論文の概要: LG-VLN: A Zero-Shot Vision-and-Language Navigation Framework with LangGraph State Orchestration
- arxiv url: http://arxiv.org/abs/2609.15098v1
- Date: Mon, 14 Sep 2026 06:23:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.117595
- Title: LG-VLN: A Zero-Shot Vision-and-Language Navigation Framework with LangGraph State Orchestration
- Title（参考訳）: LG-VLN: LangGraph状態オーケストレーションによるゼロショットビジョン・ランゲージナビゲーションフレームワーク
- Abstract要約: 連続環境ビジョン・アンド・ランゲージナビゲーション(VLN-CE)では、目に見えない3D環境で自然言語の指示を解釈する必要がある。
視覚的特徴の共有とLangGraphによる状態オーケストレーションを備えた単眼ゼロショットフレームワークであるLG-VLNを提案する。
オンラインフィードフォワード3D再構成ネットワークは、エージェント目的推定とグローバルマップ融合のための深度、カメラポーズ、高密度点雲を予測する。
- 参考スコア（独自算出の注目度）: 6.925376444211893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous-environment vision-and-language navigation (VLN-CE) requires interpreting natural-language instructions in unseen 3D environments and executing continuous low-level actions. Existing methods often depend on LiDAR, panoramic cameras, or extra sensors; separate geometric-mapping and semantic-navigation visual representations can cause long-trajectory spatial-semantic inconsistencies. We propose LG-VLN, a monocular zero-shot framework with shared visual features and LangGraph-based state orchestration. An online feed-forward 3D reconstruction network predicts depth, camera poses, and dense point clouds for agent-pose estimation and global map fusion. Geometry and navigation share dense CleanDIFT features: semantic consistency rejects incorrect inter-frame correspondences, while target-instance constraints define visual references whose similarity combines with local BLIP-2 image-text relevance to form a semantic value map. LangGraph represents instruction parsing, geometric perception, semantic value updates, path planning, action execution, and failure recovery as a directed state graph with conditional transitions, persistent state, and modular recovery mechanisms. On a fixed 550-episode subset of the R2R-CE val-unseen split, LG-VLN achieves 21.3% success and 12.1% success weighted by path length. Ablations show shared semantic features improve navigation, further boosted by combining visual similarity and image-text relevance. Results establish shared visual representations and explicit state orchestration as effective for zero-shot VLN-CE using monocular RGB alone. Code will be publicly released for reproducibility.
- Abstract（参考訳）: 連続環境ビジョン・アンド・ランゲージナビゲーション(VLN-CE)では、目に見えない3D環境で自然言語命令を解釈し、連続的な低レベルアクションを実行する必要がある。
既存の方法は、LiDAR、パノラマカメラ、または余分なセンサーに依存し、幾何学的マッピングとセマンティックナビゲーションの視覚表現は、長い軌道空間意味的な矛盾を引き起こす。
視覚的特徴の共有とLangGraphによる状態オーケストレーションを備えた単眼ゼロショットフレームワークであるLG-VLNを提案する。
オンラインフィードフォワード3D再構成ネットワークは、エージェント目的推定とグローバルマップ融合のための深度、カメラポーズ、高密度点雲を予測する。
セマンティック一貫性はフレーム間の不正確な対応を拒絶するが、ターゲットインスタンス制約は、類似性がローカルBLIP-2画像テキスト関連性と組み合わせて意味値マップを形成する視覚参照を定義する。
LangGraphは、命令解析、幾何学的認識、セマンティックバリュー更新、パス計画、アクション実行、障害復旧を、条件遷移、永続状態、モジュールリカバリ機構を備えた有向状態グラフとして表現している。
R2R-CE val-unseen スプリットの固定された550エピソードサブセットでは、LG-VLNは21.3%の成功、12.1%の成功をパス長で達成している。
アブレーションにより、共有セマンティック機能はナビゲーションを改善し、視覚的類似性と画像テキストの関連性を組み合わせることでさらに強化される。
その結果, モノクロRGBのみを用いたゼロショットVLN-CEにおいて, 共有視覚表現と明示的状態オーケストレーションが有効であることがわかった。
コードは再現性のために公開されます。
関連論文リスト
- Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis [59.527737790821305]
本稿では,3次元シーングラフを用いてオープンな3次元理解を促進する関係認識フレームワークを提案する。
本手法は,物体関係の推測に視覚言語推論を活用することで,多視点観測からリレーショナルシーングラフを構築する。
ScanNetV2、ScanNet200、ScanNet$++$、Replicaの実験は、強力なパフォーマンスと一般化能力を示している。
論文 参考訳（メタデータ） (2026-07-06T17:29:49Z) - Bridging the 2D-3D Gap: A Hierarchical Semantic-Geometric Map for Vision Language Navigation [32.02017382315305]
Vision-Language Navigation (VLN) は、エンボディエージェントが言語命令に従うことで、見えない環境でターゲットの場所に到達することを可能にする。
近年の視覚言語モデル(VLM)の進歩にもかかわらず、重要な意味幾何学的ギャップが残っている。
本稿では3次元幾何学情報をVLMと互換性のある構造化表現に変換する階層型意味幾何学マップ(HSGM)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:53:21Z) - GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。
視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。
我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
論文 参考訳（メタデータ） (2026-05-21T06:20:17Z) - SceneGraphGrounder: Zero-Shot 3D Visual Grounding via Structured Scene Graph Matching [2.4737219202679808]
SceneGrapherは,再構成された3次元シーングラフ上の構造化グラフマッチングとして3次元グラウンドを再構成するフレームワークである。
我々は,移動ロボットによる実世界展開によるフレームワークの実証を行い,長距離物理環境における堅牢な空間推論を実証した。
論文 参考訳（メタデータ） (2026-05-20T22:30:51Z) - Exploring Bottlenecks in VLM-LLM Navigation: How 3D Scene Understanding Capability Impacts Zero-Shot VLN [6.626149978783011]
ゼロショットビジョン・アンド・ランゲージナビゲーション(VLN)は、データ収集コストの最小化と固有の一般化により、大きな注目を集めている。
現行の3D知覚モデルは、厳密な計算限界と、具体化されたナビゲーションによって要求されるリアルタイム効率と直接競合する、ピクセルレベルの精度を優先している。
本稿では,VLNの性能に及ぼす3次元シーン理解能力の影響を定量化する。
論文 参考訳（メタデータ） (2026-05-14T13:12:05Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - GoViG: Goal-Conditioned Visual Navigation Instruction Generation [69.79110149746506]
本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)を紹介する。
GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない非構造環境への適応性を大幅に改善する。
論文 参考訳（メタデータ） (2025-08-13T07:05:17Z) - ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments [1.9566515100805284]
VLN-CEは、自然言語命令に基づいて連続空間をナビゲートするエージェントを必要とする。
本稿では,マルチグラニュラリティ認識と命令認識推論による性能向上を目的としたナビゲーションブースターST-Boosterを紹介する。
大規模な実験と性能解析を行い、ST-Boosterが既存の最先端手法より優れていることを示した。
論文 参考訳（メタデータ） (2025-04-14T03:29:08Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳（メタデータ） (2024-03-21T06:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。