論文の概要: AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation
- arxiv url: http://arxiv.org/abs/2609.12285v1
- Date: Thu, 10 Sep 2026 23:32:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.568118
- Title: AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation
- Title（参考訳）: AnchorVLN:オープンボキャブラリナビゲーションのための幾何学的アンコラージュグラウンドリング推論
- Abstract要約: 見えない屋内環境における視覚言語ナビゲーション(VLN)は、現実世界のロボット工学において有用である。
本稿では、VLMが意味論を提案し、幾何学がメトリクスを決定するという単純なルールに基づいて構築されたオープン語彙VLNシステムであるAnchorVLNを紹介する。
我々は、CMU Vision-Language Navigation Challenge 2026の2つのタスクをベンチマークする。
- 参考スコア（独自算出の注目度）: 1.4023879186833261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Navigation (VLN) in unseen indoor environments is useful in real-world robotics, where an agent must follow natural-language instructions, locate objects, and answer spatial questions without a pre-built map or fixed object vocabulary. Multimodal vision-language models (VLMs) provide strong open-vocabulary grounding and zero-shot reasoning, but struggle to emit reliable metric quantities such as range, bearing, and comparative spatial relations directly from images. Existing approaches address this by folding geometry into hand-engineered pipelines or asking models to output waypoints, requiring changes to the control stack for different robots, tasks, or vocabularies. We introduce AnchorVLN, an open-vocabulary VLN system built on a simple rule: the VLM proposes semantics; geometry decides metrics. It is realised as EMBODIED-NAV-MCP, a Model Context Protocol (MCP) server driven by a VLM agent through a compact set of callable tools. Since no tool accepts distance in metres or bearing in radians, the schema enforces the semantic-geometry boundary without modifying the downstream autonomy stack. We benchmark both tasks of the CMU Vision-Language Navigation Challenge 2026: 30 instruction-following questions over 15 scenes and a frozen 45-question object-reference set. The full system achieves 64.4 percent on instruction following, dropping by 13.3 percentage points without controller modeling (t = 2.77). On object reference, geometric anchoring clears the challenge overlap threshold on 10 of 45 questions, versus 0 of 45 for direct coordinate estimation, reducing median center error from 3.37 m to 2.48 m.
- Abstract（参考訳）: 屋内環境における視覚言語ナビゲーション(VLN)は、エージェントが自然言語の指示に従い、オブジェクトを見つけ、事前に構築された地図や固定されたオブジェクト語彙なしで空間的な質問に答えなければならない現実世界のロボット工学において有用である。
マルチモーダル視覚言語モデル(VLM)は、強力なオープンボキャブラリグラウンドとゼロショット推論を提供するが、画像から直接範囲、ベアリング、および比較空間関係などの信頼性の高い量を生成するのに苦労する。
既存のアプローチでは、幾何学を手動のパイプラインに折り畳み、あるいはモデルにウェイポイントの出力を求め、異なるロボット、タスク、語彙のコントロールスタックを変更する必要がある。
本稿では、VLMが意味論を提案し、幾何学がメトリクスを決定するという単純なルールに基づいて構築されたオープン語彙VLNシステムであるAnchorVLNを紹介する。
EMBODIED-NAV-MCP(EMBODIED-NAV-MCP)は、VLMエージェントによって駆動されるモデルコンテキストプロトコル(MCP)サーバである。
距離や半径での距離を受け入れるツールは存在しないため、スキーマは下流の自律スタックを変更することなくセマンティック・ジオメトリ境界を強制する。
我々は、CMU Vision-Language Navigation Challenge 2026の2つのタスクをベンチマークする。
完全なシステムは64.4%のインストラクションを達成し、コントローラモデリングなしで13.3%のポイントを下げる(t = 2.77)。
オブジェクト参照では、幾何アンカーは45問中10問でチャレンジオーバーラップ閾値をクリアし、45問中0問で直接座標推定し、中央値の誤差を3.37mから2.48mに下げる。
関連論文リスト
- Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments [0.0]
ファンデーションモデルに基づく視覚言語ナビゲーション(VLN)は、ロボットが自然言語の指示を解釈できるようにすることにより、高度な自律型ロボットナビゲーションを提供する。
既存のVLNシステムは、言語理解とセマンティックグラウンドリングのために、クラウドでホストされた基礎モデルに大きく依存している。
本稿では,屋外環境における完全搭載VLNへの3つの貢献について述べる。
論文 参考訳（メタデータ） (2026-07-24T11:49:25Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。
RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。
GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-25T01:33:19Z) - MiniVLA-Nav v1: A Multi-Scene Simulation Dataset for Language-Conditioned Robot Navigation [0.0]
MiniVLA-Nav v1はLanguage-Conditioned Object Approachナビゲーションのためのシミュレーションデータセットである。
1,174エピソードはそれぞれ、640x640 RGBの同期画像、メートル法深度マップ、インスタンスセグメンテーションマスクとインストラクションをペアリングする。
データセットはhttps://huggingface.co/datasets/alibustami/miniVLA-Navで公開されている。
論文 参考訳（メタデータ） (2026-05-01T04:36:54Z) - GoalVLM: VLM-driven Object Goal Navigation for Multi-Agent System [0.0]
ゼロショットでオープンなオブジェクトナビゲーションのための協調型マルチエージェントフレームワークであるGoalVLMを提案する。
GoalVLMは、VLM(Vision-Language Model)を直接決定ループに統合し、SAM3はテキストプロンプト検出とセグメンテーション、SpaceOMは空間推論を行う。
GOAT-Bench val_unseenにおけるGoalVLMの評価を行った。
論文 参考訳（メタデータ） (2026-03-18T18:59:33Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - OmniVLN: Omnidirectional 3D Perception and Token-Efficient LLM Reasoning for Visual-Language Navigation across Air and Ground Platforms [33.40889181799252]
言語誘導型エンボディナビゲーションでは、エージェントがオブジェクト参照命令を解釈し、複数の部屋を探索し、参照されたターゲットをローカライズし、それに対する信頼できる動きを実行する必要がある。
OmniVLNは、全方位3次元知覚とトークン効率の高い階層的推論を、空中と地上の両方で組み合わせたゼロショット視覚言語ナビゲーションフレームワークである。
実験により、提案した階層インタフェースは空間参照精度を77.27%から93.18%に改善し、マルチルームの乱雑な設定で累積的なプロンプトトークンを61.7%削減し、フラットで最大11.68%のナビゲーション成功率向上を実現した。
論文 参考訳（メタデータ） (2026-03-18T04:26:30Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。
そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。
パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
論文 参考訳（メタデータ） (2025-12-23T17:56:36Z) - RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。
本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。
RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
論文 参考訳（メタデータ） (2025-06-04T17:59:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。