論文の概要: Structured Observation Language for Efficient and Generalizable Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2603.27577v1
• Date: Sun, 29 Mar 2026 08:34:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.031369
• Title: Structured Observation Language for Efficient and Generalizable Vision-Language Navigation
• Title（参考訳）: 効率的な視覚・言語ナビゲーションのための構造化観察言語
• Authors: Daojie Peng, Fulong Ma, Jun Ma,
• Abstract要約: Vision-Language Navigation (VLN) は、自然言語命令に従うことで複雑な環境をナビゲートするエンボディエージェントを必要とする。 既存のVLNメソッドは、しばしば生の画像を視覚トークンや暗黙の特徴に変換する。 我々は,エゴセントリックな視覚的観察をコンパクトな言語記述に変換する新しいフレームワークであるSOL-Navを提案する。
• 参考スコア（独自算出の注目度）: 4.638932118798778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Navigation (VLN) requires an embodied agent to navigate complex environments by following natural language instructions, which typically demands tight fusion of visual and language modalities. Existing VLN methods often convert raw images into visual tokens or implicit features, requiring large-scale visual pre-training and suffering from poor generalization under environmental variations (e.g., lighting, texture). To address these issues, we propose SOL-Nav (Structured Observation Language for Navigation), a novel framework that translates egocentric visual observations into compact structured language descriptions for efficient and generalizable navigation. Specifically, we divide RGB-D images into a N*N grid, extract representative semantic, color, and depth information for each grid cell to form structured text, and concatenate this with the language instruction as pure language input to a pre-trained language model (PLM). Experimental results on standard VLN benchmarks (R2R, RxR) and real-world deployments demonstrate that SOL-Nav significantly reduces the model size and training data dependency, fully leverages the reasoning and representation capabilities of PLMs, and achieves strong generalization to unseen environments.
• Abstract（参考訳）: VLN(Vision-Language Navigation)は、自然言語の指示に従うことで複雑な環境をナビゲートするために、具体化されたエージェントを必要とする。 既存のVLN法では、生画像を視覚的トークンや暗黙的な特徴に変換することが多く、大規模な視覚前訓練が必要であり、環境変動(例えば、照明、テクスチャ)下での一般化が不十分である。 これらの問題に対処するために,エゴセントリックな視覚的観察をコンパクトな構造化言語記述に変換し,効率的で一般化可能なナビゲーションを実現するフレームワークであるSOL-Nav(Structured Observation Language for Navigation)を提案する。 具体的には、RGB-D画像をN*Nグリッドに分割し、各グリッドセルの代表的意味、色、深さ情報を抽出して構造化テキストを作成し、それを事前訓練された言語モデル(PLM)への純言語入力として言語命令と結合する。 標準VLNベンチマーク(R2R,RxR)および実世界の展開実験の結果、SOL-Navはモデルサイズとデータ依存のトレーニングを著しく削減し、PLMの推論と表現能力を完全に活用し、目に見えない環境への強力な一般化を実現している。

関連論文リスト

• Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents [43.5771856761934]
  VLN(Vision-and-Language Navigation)は、自然言語命令を解釈し、複雑な3D環境をナビゲートするエージェントにとって大きな課題となる。 トランスフォーマーベースのVLNエージェントに構造化されたスキルベースの推論を導入するモジュラーフレームワークであるSkillNavを提案する。
  論文  参考訳（メタデータ） (2025-08-11T05:50:30Z)
• Linguistics-aware Masked Image Modeling for Self-supervised Scene Text Recognition [50.86415025650168]
  マスク付き画像モデリング(MIM)は、局所的な構造を利用して視覚パターンを再構築する傾向があり、言語知識は限られている。 本稿では,言語情報とMIMの復号過程を別ブランチで関連づける,言語学対応の仮面画像モデリング(LMIM)手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T14:53:35Z)
• Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation [63.54377402784965]
  視覚言語ナビゲーション(VLN)のためのリライト駆動型AugMentation(RAM)パラダイムを提案する。 書き換え機構から, シミュレータフリー, 省力両面において, 新たな観察・指導ペアを得ることができた。 離散環境(R2R,REVERIE,R4Rデータセット)と連続環境(R2R-CEデータセット)の両方における実験は,本手法の優れた性能と優れた一般化能力を示している。
  論文  参考訳（メタデータ） (2025-03-23T13:18:17Z)
• Vision and Language Navigation in the Real World via Online Visual Language Mapping [18.769171505280127]
  視覚・言語ナビゲーション(VLN)法は主にシミュレーションで評価される。 実世界のVLN課題に対処する新しい枠組みを提案する。 未確認実験環境において,Interbotix LoCoBot WX250を用いたパイプラインの評価を行った。
  論文  参考訳（メタデータ） (2023-10-16T20:44:09Z)
• LangNav: Language as a Perceptual Representation for Navigation [63.90602960822604]
  視覚・言語ナビゲーション(VLN)における知覚表現としての言語の利用について検討する。 提案手法では,画像キャプションや物体検出に市販の視覚システムを用いて,エージェントのエゴセントリックなパノラマビューを各ステップで自然言語記述に変換する。
  論文  参考訳（メタデータ） (2023-10-11T20:52:30Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)
• CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations [98.30038910061894]
  VLN(Vision-and-Language Navigation)タスクでは、エージェントが言語命令に基づいて環境をナビゲートする必要がある。 CLEAR: 言語横断表現と環境非依存表現を提案する。 我々の言語と視覚表現は、Room-to-Room and Cooperative Vision-and-Dialogue Navigationタスクにうまく転送できる。
  論文  参考訳（メタデータ） (2022-07-05T17:38:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。