論文の概要: Green for Go, Red for No: Visual Grounding via Semantic Segmentation for VLA Navigation Policies
- arxiv url: http://arxiv.org/abs/2607.05122v1
- Date: Mon, 06 Jul 2026 14:11:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.186866
- Title: Green for Go, Red for No: Visual Grounding via Semantic Segmentation for VLA Navigation Policies
- Title（参考訳）: グリーン for Go, Red for No: Visual Grounding via Semantic Segmentation for VLA Navigation Policies
- Abstract要約: 視覚言語アクション(VLA)モデルは、自然言語と視覚目標からのロボットナビゲーションを可能にする。
本稿では,VLAナビゲーションポリシーの視覚的接地に関する最初の経験的評価について述べる。
- 参考スコア（独自算出の注目度）: 4.796492358527836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models enable robot navigation from natural language and visual goals, but remain susceptible to perceptual distractions and ambiguous scene interpretations. This paper presents the first empirical evaluation of visual grounding for VLA navigation policies. We propose a real-time segmentation-based grounding method that highlights traversable areas in green and non-traversable areas in red using SegFormer. Two variants are evaluated: observation-only segmentation and joint observation-goal augmentation. Using OmniVLA on the Grand Tour dataset, we show that visual grounding reduces the mean waypoint error by 27-44% at the farthest waypoint, depending on the instruction length. The benefits are greater for long instructions than for short instructions, and grounding provides little improvement for image goals. Normalized error analysis indicates that grounding primarily acts as a trajectory length regularizer, reducing the predicted path length by 30% without improving per-unit-distance reasoning. Our results indicate that visual grounding offers a simple, computationally inexpensive method to improve VLA navigation without model retraining, although it cannot compensate for missing training signals in out-of-distribution instructions.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、自然言語と視覚目標からのロボットナビゲーションを可能にするが、知覚的注意散逸や曖昧なシーン解釈の影響を受けない。
本稿では,VLAナビゲーションポリシーの視覚的接地に関する最初の経験的評価について述べる。
そこで我々は,SegFormer を用いて,赤の緑と非可逆領域における可逆領域をハイライトするリアルタイムセグメンテーションベースグラウンド手法を提案する。
観察専用セグメンテーションと共同観察ゴール増強の2つのバリエーションが評価された。
グランドツアーのデータセット上でOmniVLAを用いることで、視覚的グラウンド化により、命令長に応じて最遠地点での平均ウェイポイント誤差が27-44%減少することを示す。
この利点はショートインストラクションよりも長いインストラクションの方が優れており、グラウンド化は画像の目標に対してほとんど改善しない。
正規化誤差解析は、グラウンドが主に軌道長正規化器として機能し、単位距離の推論を改善することなく予測経路長を30%削減することを示している。
この結果から,視覚的グラウンドリングはモデル再トレーニングを伴わずにVLAナビゲーションを改善するためのシンプルな,計算コストのかかる手法であることがわかった。
関連論文リスト
- Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。
空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。
視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
論文 参考訳（メタデータ） (2026-08-21T14:40:26Z) - CrossTracer: Cross-Embodiment Navigation via VLA Model Reasoning and Trace Residuals Adapting [51.52109090141233]
CrossTracerは、クロスボディナビゲーションのための階層的なフレームワークである。
セマンティック推論と物理接地の間に統一的なピクセル空間インターフェースを形成する。
そこで,NaviTraceベンチマークを用いてCrossTracerの評価を行った。
論文 参考訳（メタデータ） (2026-08-07T01:24:53Z) - VoLN: Vision-Only Long-Horizon Navigation---Paradigm, Benchmark, and Method [14.658802504108833]
VLN(Vision-and-Language Navigation)は、エンボディエージェントが自然言語の指示に従うことを可能にする。
経路関連情報を外部から供給された指示やグローバルガイダンスからローカルで観測可能なインシーン・キューへシフトするビジョンオンリーロングホライゾンナビゲーション(VoLN)を提案する。
VoLN-UAVは、長距離目標指向飛行、連続3Dモーション、大きな視点変化、コンテキスト依存ビーコン選択を組み合わせた7,210エピソードのベンチマークである。
論文 参考訳（メタデータ） (2026-07-23T15:02:01Z) - What Limits Vision-and-Language Navigation ? [18.423144111320592]
StereoNavは、現実世界のナビゲーションの一貫性を高めるために設計された、堅牢なVision-Language-Actionフレームワークである。
R2R-CEとRxR-CEの実験は、StereoNavが最先端のエゴセントリックなRGB性能を達成することを示した。
論文 参考訳（メタデータ） (2026-05-13T10:41:24Z) - LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation [96.09246387639006]
LookasideVLNは、より正確な空間推論とより高い計算効率を達成するために、自然言語の方向の手がかりを利用する。
LookasideVLNは、シングルレベルのルックアヘッドでも、最先端のCityNavAgentよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-04-19T01:36:53Z) - VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models [80.1055544841585]
ビジョン・ランゲージ・アクションモデルは通常、視覚観察と言語指示を直接ロボット制御信号にマッピングする。
本稿では,高レベルの推論と低レベルの実行を,構造化された視覚的プロンプトインタフェースを介して分離する,デュアルシステムフレームワークであるVP-VLAを提案する。
Robocasa-GR1-TabletopベンチマークとSimplerEnvシミュレーションの実験は、VP-VLAが成功率を5%と8.3%改善することを示した。
論文 参考訳（メタデータ） (2026-03-23T14:08:58Z) - PRET: Planning with Directed Fidelity Trajectory for Vision and Language Navigation [30.710806048991923]
視覚と言語ナビゲーションは、エージェントが自然言語の指示に従ってナビゲートする必要があるタスクである。
近年の手法では、各ステップで構築されたトポロジーマップのサブゴールを予測し、長期的な行動計画を可能にする。
本稿では,指示と指向性軌道のアライメントを考慮し,ナビゲーション計画を容易にする方法を提案する。
論文 参考訳（メタデータ） (2024-07-16T08:22:18Z) - GaussNav: Gaussian Splatting for Visual Navigation [92.13664084464514]
インスタンスイメージゴールナビゲーション(IIN)では、エージェントが探索されていない環境で、目標画像に描かれた特定のオブジェクトを見つける必要がある。
視覚ナビゲーションのためのガウススティング(GaussNav)であるIINの新しいフレームワークを提案し、3次元ガウススティング(DGS)に基づく新しい地図表現を構築した。
当社のGaussNavフレームワークは,Habitat-Matterport 3D(HM3D)データセットにおいて,SPL(Path Length)によるSuccessの重み付けを0.347から0.578に増加させ,大幅なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2024-03-18T09:56:48Z) - Mind the Gap: Improving Success Rate of Vision-and-Language Navigation
by Revisiting Oracle Success Routes [25.944819618283613]
Vision-and-Language Navigation (VLN) は、指定された命令に従うことで、ターゲットの場所へナビゲートすることを目的としている。
VLNの長年無視されてきた問題に対処する最初の試みは、成功率(SR)とOracle成功率(OSR)のギャップを狭めることです。
論文 参考訳（メタデータ） (2023-08-07T01:43:25Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳（メタデータ） (2022-12-12T13:10:19Z) - BEVBert: Multimodal Map Pre-training for Language-guided Navigation [75.23388288113817]
視覚・言語ナビゲーション(VLN)における空間認識型マップベース事前学習パラダイムを提案する。
我々は,グローバルなトポロジカルマップにおけるナビゲーション依存性をモデル化しながら,不完全な観測を明示的に集約し,重複を取り除くための局所距離マップを構築した。
ハイブリッドマップをベースとして,マルチモーダルマップ表現を学習するための事前学習フレームワークを考案し,空間認識型クロスモーダル推論を強化し,言語誘導ナビゲーションの目標を導出する。
論文 参考訳（メタデータ） (2022-12-08T16:27:54Z) - Lifelong Topological Visual Navigation [16.41858724205884]
本稿では,生涯ナビゲーション性能を時間とともに向上させるグラフ更新戦略を用いた学習型ビジュアルナビゲーション手法を提案する。
画像に基づくトポロジグラフを構築するためのサンプリングベースの計画アルゴリズムから着想を得た結果,スペーサーグラフはベースライン法に比べてナビゲーション性能が高い。
固定的なトレーニング環境から学習するコントローラとは異なり、ロボットが配置される実環境から比較的小さなデータセットを使ってモデルを微調整できることが示される。
論文 参考訳（メタデータ） (2021-10-16T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。