論文の概要: Goal2Pixel: Grounding Goals to Pixels for Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2606.01621v1
• Date: Mon, 01 Jun 2026 03:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.896537
• Title: Goal2Pixel: Grounding Goals to Pixels for Vision-Language Navigation
• Title（参考訳）: Goal2Pixel:ビジョンランゲージナビゲーションのためのカメラへの目標達成
• Authors: Muyi Bao, Yuxin Cai, Hang Xu, Zongtai Li, Jinxi He, Jingfan Tang, Chen Lv, Ji Zhang, Yaqi Xie, Wenshan Wang,
• Abstract要約: 視覚言語モデル(VLM)は、連続環境(VLN-CE)における視覚・言語ナビゲーションの共通基盤となっている。 本稿では,VLN-CEをナビゲート可能な画素グラウンドングとして再構成する,純粋なピクセルベースのパラダイムであるGoal2Pixelを提案する。 Goal2Pixelは、従来のメソッドよりもVLM推論呼び出しを少なくしながら、最先端の競合性能を実現している。
• 参考スコア（独自算出の注目度）: 43.80508524489474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have become a common foundation for vision-and-language navigation in continuous environments (VLN-CE). Yet most VLM-based methods cast navigation as low-level action prediction, an interface that is ambiguous, tied to short-horizon motion primitives, and inefficient due to repeated VLM querying. We propose Goal2Pixel, a pure pixel-based paradigm that reformulates VLN-CE as navigable pixel grounding. Rather than predicting actions, Goal2Pixel uses the image plane as a unified spatial interface between VLM reasoning and robot motion: the model predicts a visible navigable pixel to the agent, which is back-projected into a 3D waypoint for forward navigation. For non-forward actions, we append auxiliary directive regions to the image plane, where the left/right/bottom regions are interpreted as turning left, turning right, and stopping, respectively. To enable long-horizon navigation, we propose a visibility-aware keyframe memory for compact and informative history representation. To adapt pretrained VLMs to navigable pixel grounding, we introduce semantic embeddings and coordinate-aware auxiliary losses. Goal2Pixel achieves competitive state-of-the-art performance while requiring fewer VLM inference calls than prior methods. On R2R-CE Val-Unseen it achieves 54.1% SR and 52.5% SPL with just 7.75 VLM calls per episode, 6x fewer than the 46.62 required by direct action prediction at 32.9% SR. The same trend holds on RxR-CE.Project Page: https://baobao0926.github.io/Goal2Pixel/.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、連続環境(VLN-CE)における視覚・言語ナビゲーションの共通基盤となっている。 しかし、ほとんどのVLMベースの手法は、ナビゲーションを低レベルな動作予測、不明瞭なインターフェース、短水平動作プリミティブとの結びつき、繰り返しVLMクエリーによる非効率なインターフェースとして採用している。 本稿では,VLN-CEをナビゲート可能な画素グラウンドングとして再構成する,純粋なピクセルベースのパラダイムであるGoal2Pixelを提案する。 Goal2Pixelはアクションを予測するのではなく、イメージプレーンをVLM推論とロボット動作の統一された空間インターフェースとして使用しています。 非フォワード動作に対しては、左/右/ボトム領域をそれぞれ左折、右折、停止と解釈する画像面に補助的な指示領域を付加する。 長距離ナビゲーションを実現するために,コンパクトかつ情報的ヒストリ表現のための可視性対応キーフレームメモリを提案する。 予め訓練したVLMをナビゲート可能な画素接地に適用するために,セマンティック埋め込みと座標認識による補助的損失を導入する。 Goal2Pixelは、従来のメソッドよりもVLM推論呼び出しを少なくしながら、最先端の競合性能を実現している。 R2R-CE Val-Unseenでは、54.1%のSRと52.5%のSPLを1話当たり7.75 VLMコールで達成し、32.9%のSRでの直接動作予測で要求される46.62よりも6倍少ない。 RxR-CE.Project Page: https://baobao0926.github.io/Goal2Pixel/

関連論文リスト

• Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
  身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。 統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
  論文  参考訳（メタデータ） (2026-05-26T18:52:04Z)
• AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
  VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。 本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
  論文  参考訳（メタデータ） (2026-03-18T12:43:47Z)
• SwiftVLA: Unlocking Spatiotemporal Dynamics for Lightweight VLA Models at Minimal Overhead [56.74139420555097]
  設計効率を保ちつつ、4次元理解でコンパクトなモデルを強化するアーキテクチャであるSwiftVLAを提案する。 提案手法は,2次元画像から4次元特徴を抽出する時間キャッシュを備えた,事前訓練された4次元視覚幾何学変換器を備える。 実環境とシミュレートされた環境での実験では、SwiftVLAは軽量のベースラインよりも優れており、ライバルのVLAは最大7倍も大きい。
  論文  参考訳（メタデータ） (2025-11-30T14:10:28Z)
• IGL-Nav: Incremental 3D Gaussian Localization for Image-goal Navigation [78.00035681410348]
  IGL-Navは、効率的で3D対応の画像ゴールナビゲーションのためのインクリメンタルな3Dガウスフレームワークである。 より困難な自由視点のイメージゴール設定を処理し、現実世界のロボットプラットフォームにデプロイすることができる。
  論文  参考訳（メタデータ） (2025-08-01T17:59:56Z)
• VLM-Grounder: A VLM Agent for Zero-Shot 3D Visual Grounding [57.04804711488706]
  3Dビジュアルグラウンドティングはロボットにとって不可欠であり、自然言語と3Dシーン理解を統合する必要がある。 VLM-Grounderは視覚言語モデル(VLM)を用いて2次元画像のみに基づくゼロショット3次元視覚グラウンドティングを行う新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-17T17:59:55Z)
• NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation [23.72290930234063]
  NaVidは、ヴィジュアル・アンド・ランゲージナビゲーションのためのビデオベースの大型視覚言語モデル(VLM)である。 NaVidはシミュレーション環境と現実世界で最先端のパフォーマンスを実現し、優れたクロスデータセットとSim2Real転送を実現している。
  論文  参考訳（メタデータ） (2024-02-24T16:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。