論文の概要: TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2603.02972v1
• Date: Tue, 03 Mar 2026 13:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.814454
• Title: TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation
• Title（参考訳）: TagaVLM:視覚言語ナビゲーションのためのトポロジ対応グローバルアクション推論
• Authors: Jiaxing Liu, Zexi Zhang, Xiaoyan Li, Boyue Wang, Yongli Hu, Baocai Yin,
• Abstract要約: Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
• 参考スコア（独自算出の注目度）: 70.23578202012048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Navigation (VLN) presents a unique challenge for Large Vision-Language Models (VLMs) due to their inherent architectural mismatch: VLMs are primarily pretrained on static, disembodied vision-language tasks, which fundamentally clash with the dynamic, embodied, and spatially-structured nature of navigation. Existing large-model-based methods often resort to converting rich visual and spatial information into text, forcing models to implicitly infer complex visual-topological relationships or limiting their global action capabilities. To bridge this gap, we propose TagaVLM (Topology-Aware Global Action reasoning), an end-to-end framework that explicitly injects topological structures into the VLM backbone. To introduce topological edge information, Spatial Topology Aware Residual Attention (STAR-Att) directly integrates it into the VLM's self-attention mechanism, enabling intrinsic spatial reasoning while preserving pretrained knowledge. To enhance topological node information, an Interleaved Navigation Prompt strengthens node-level visual-text alignment. Finally, with the embedded topological graph, the model is capable of global action reasoning, allowing for robust path correction. On the R2R benchmark, TagaVLM achieves state-of-the-art performance among large-model-based methods, with a Success Rate (SR) of 51.09% and SPL of 47.18 in unseen environments, outperforming prior work by 3.39% in SR and 9.08 in SPL. This demonstrates that, for embodied spatial reasoning, targeted enhancements on smaller open-source VLMs can be more effective than brute-force model scaling. The code will be released upon publication.Project page: https://apex-bjut.github.io/Taga-VLM
• Abstract（参考訳）: 視覚言語ナビゲーション(VLN)は、その固有のアーキテクチャミスマッチにより、大きな視覚言語モデル(VLM)に固有の課題を提示している。 既存の大規模モデルベースの手法では、リッチな視覚情報や空間情報をテキストに変換し、複雑な視覚的トポロジ的関係を暗黙的に推論したり、グローバルな行動能力を制限したりする。 このギャップを埋めるために我々は,VLMバックボーンにトポロジ的構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(Topology-Aware Global Action reasoning)を提案する。 トポロジカルエッジ情報を導入するために,空間的トポロジカル・トポロジカル・アウェア・レシダル・アテンション(STAR-Att)はVLMの自己アテンション機構に直接統合し,事前学習した知識を保ちながら内在的な空間推論を可能にする。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 最後に、埋め込みトポロジグラフにより、このモデルはグローバルな行動推論が可能となり、堅牢な経路補正が可能となる。 R2Rベンチマークでは、TagaVLMは51.09%の成功率(SR)と47.18のSPLで、SRでは3.39%、SPLでは9.08の先行性能を達成している。 これは、空間的推論を具現化するために、より小さなオープンソースVLMに対するターゲット拡張が、ブルートフォースモデルスケーリングよりも効果的であることを示す。 プロジェクトページ: https://apex-bjut.github.io/Taga-VLM

関連論文リスト

• BREATH-VL: Vision-Language-Guided 6-DoF Bronchoscopy Localization via Semantic-Geometric Fusion [7.382475458362566]
  BREATH-VLは,視覚言語モデルからのセマンティックキューと,登録手法からの幾何情報を統合し,正確な6-DoFポーズ推定を行うハイブリッドフレームワークである。 これに基づいて、BREATH-VLは、最先端の視覚のみのローカライゼーション法を精度と一般化の両方で上回り、翻訳誤差を最良性能のベースラインと比較して25.5%削減する。
  論文  参考訳（メタデータ） (2026-01-07T09:00:52Z)
• Can LLMs See Without Pixels? Benchmarking Spatial Intelligence from Textual Descriptions [18.455501447828343]
  空間知能(SI)は視覚言語モデル(VLM)に大きく依存している 画素レベルの入力を必要としない大規模言語モデル(LLM)のSI性能を評価するために設計された新しいベンチマークであるSiT-Benchを紹介する。 空間的推論により性能が著しく向上し,LLMには潜在的世界モデリングの可能性があることが示唆された。
  論文  参考訳（メタデータ） (2026-01-07T05:13:52Z)
• TopoPerception: A Shortcut-Free Evaluation of Global Visual Perception in Large Vision-Language Models [11.7808701773328]
  LVLM(Large Vision-Language Models)は通常、エンコーダから学習済みのLarge Language Model(LLM)に視覚的特徴を合わせる。 本稿では,LVLMのグローバルな視覚知覚能力を評価するために,トポロジカルな特性を利用するベンチマークであるTopoPerceptionを紹介する。 TopoPerception上での最先端モデルの評価を行い、最も粗い知覚の粒度であっても、全てのモデルがランダムな確率よりは良くないことを示す。
  論文  参考訳（メタデータ） (2025-11-14T19:45:56Z)
• VLM-FO1: Bridging the Gap Between High-Level Reasoning and Fine-Grained Perception in VLMs [13.486495756813078]
  VLM(Vision-Language Models)は、高レベルのシーン理解において優れるが、精密なローカライゼーションを必要とする微粒な知覚タスクに重点を置いている。 VLM-FO1は、オブジェクト中心の知覚を堅牢な特徴検索タスクに再フレーミングすることで、この制限を克服する新しいフレームワークである。 本手法は,プリトレーニング済みのVLMと統合したプラグイン・アンド・プレイモジュールとして動作する。
  論文  参考訳（メタデータ） (2025-09-30T08:10:56Z)
• Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding [8.202861909913791]
  基礎モデルにおけるオブジェクト中心空間推論のベンチマークを示す。 グラウンディングディーノやOWLv2のような検出器は、リレーショナル推論に制限のある正確なボックスを提供する。 本研究は,地域化と真の空間理解のギャップを強調し,地域社会における空間認識基盤モデルの必要性を指摘する。
  論文  参考訳（メタデータ） (2025-09-26T06:06:19Z)
• Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
  我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。 ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。 我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
  論文  参考訳（メタデータ） (2025-08-28T14:31:48Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System [8.88014241557266]
  不均一なマルチロボットシステムは、協調的なハイブリッド協調を必要とする複雑なタスクにおいて大きな可能性を示す。 静的またはタスク固有のモデルに依存する既存のメソッドは、様々なタスクや動的環境にまたがる一般化性に欠けることが多い。 本稿では,大規模言語モデル (LLM) と微調整型視覚言語モデル (VLM) を統合した階層型マルチモーダルフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-05T13:27:41Z)
• Without Paired Labeled Data: End-to-End Self-Supervised Learning for Drone-view Geo-Localization [20.603433987118837]
  ドローンビュージオローカライゼーション(DVGL)は、GPSタグ付き衛星画像を取得することで、ドローンの正確なローカライゼーションを実現することを目的としている。 既存の手法は、教師あり学習のために、厳密にペアリングされたドローン衛星画像に大きく依存している。 浅いバックボーンネットワークを用いたエンドツーエンドの自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T02:53:08Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Global Context-Aware Progressive Aggregation Network for Salient Object Detection [117.943116761278]
  我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。 提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-02T04:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。