論文の概要: ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments

• arxiv url: http://arxiv.org/abs/2504.09843v1
• Date: Mon, 14 Apr 2025 03:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 23:51:35.061116
• Title: ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments
• Title（参考訳）: ST-Booster: 連続環境における視覚・言語ナビゲーションのための反復的時空間知覚ブースタ
• Authors: Lu Yue, Dongliang Zhou, Liang Xie, Erwei Yin, Feitian Zhang,
• Abstract要約: VLN-CEは、自然言語命令に基づいて連続空間をナビゲートするエージェントを必要とする。 本稿では,マルチグラニュラリティ認識と命令認識推論による性能向上を目的としたナビゲーションブースターST-Boosterを紹介する。 大規模な実験と性能解析を行い、ST-Boosterが既存の最先端手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 1.9566515100805284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-and-Language Navigation in Continuous Environments (VLN-CE) requires agents to navigate unknown, continuous spaces based on natural language instructions. Compared to discrete settings, VLN-CE poses two core perception challenges. First, the absence of predefined observation points leads to heterogeneous visual memories and weakened global spatial correlations. Second, cumulative reconstruction errors in three-dimensional scenes introduce structural noise, impairing local feature perception. To address these challenges, this paper proposes ST-Booster, an iterative spatiotemporal booster that enhances navigation performance through multi-granularity perception and instruction-aware reasoning. ST-Booster consists of three key modules -- Hierarchical SpatioTemporal Encoding (HSTE), Multi-Granularity Aligned Fusion (MGAF), and ValueGuided Waypoint Generation (VGWG). HSTE encodes long-term global memory using topological graphs and captures shortterm local details via grid maps. MGAF aligns these dualmap representations with instructions through geometry-aware knowledge fusion. The resulting representations are iteratively refined through pretraining tasks. During reasoning, VGWG generates Guided Attention Heatmaps (GAHs) to explicitly model environment-instruction relevance and optimize waypoint selection. Extensive comparative experiments and performance analyses are conducted, demonstrating that ST-Booster outperforms existing state-of-the-art methods, particularly in complex, disturbance-prone environments.
• Abstract（参考訳）: VLN-CE(Vision-and-Language Navigation in Continuous Environments)は、自然言語命令に基づいて未知の連続空間をナビゲートするエージェントである。 離散的な設定と比較すると、VLN-CEは2つの中核的な認識課題をもたらす。 まず、予め定義された観測点がないと、不均一な視覚記憶が生まれ、世界空間の相関が弱まる。 第2に、3次元シーンにおける累積再構成誤差は、局所的な特徴知覚を損なう構造的ノイズをもたらす。 これらの課題に対処するために,多粒性知覚と命令認識推論によるナビゲーション性能を向上させる反復時空間ブースタST-Boosterを提案する。 ST-Boosterは、階層型時空間符号化(HSTE)、マルチグラニュラリティアラインド・フュージョン(MGAF)、バリューガイド・ウェイポイント・ジェネレーション(VGWG)の3つの主要なモジュールで構成されている。 HSTEは、トポロジカルグラフを使用して長期的グローバルメモリを符号化し、グリッドマップを介して短期的なローカル詳細をキャプチャする。 MGAFは、これらの双対写像表現を幾何学的知識融合による指示と整合させる。 結果として得られる表現は、事前訓練タスクによって反復的に洗練される。 推論中、VGWGは環境命令の関連性を明示的にモデル化し、経路選択を最適化するガイドアテンションヒートマップ(GAH)を生成する。 大規模な比較実験と性能解析を行い、ST-Boosterが既存の最先端の手法、特に複雑で乱れやすい環境において優れた性能を発揮することを示した。

関連論文リスト

• Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation [67.31811007549489]
  視覚言語ナビゲーション(VLN)のためのリライト駆動型AugMentation(RAM)パラダイムを提案する。 書き換え機構を応用して, シミュレータフリー, 省力化の両面で新たな観察指導が可能となり, 一般化が促進される。 離散環境 (R2R, REVERIE, R4R) と連続環境 (R2R-CE) の両方における実験により, 本手法の優れた性能と優れた一般化能力が示された。
  論文  参考訳（メタデータ） (2025-03-23T13:18:17Z)
• EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting [108.15136508964011]
  EgoSplatは、オープン・ボキャブラリ・エゴセントリック・シーン理解のための3Dガウス・スプレイティング・フレームワークである。 EgoSplatは2つのデータセット上のローカライゼーションタスクとセグメンテーションタスクの両方において、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-14T12:21:26Z)
• Ground-level Viewpoint Vision-and-Language Navigation in Continuous Environments [10.953629652228024]
  VLN(Vision-and-Language Navigation)エージェントは、時系列の視覚観察とそれに対応する指示を関連付け、意思決定を行う。 本稿では,人間中心の指示と低地視野の四足歩行ロボットとのミスマッチに対処する。 この問題を軽減するために,地上レベルの視点ナビゲーション(GVNav)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T10:30:40Z)
• UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
  我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。 エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。 UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-11-25T02:44:59Z)
• Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments [19.818370526976974]
  VLN-CE(Vision Language Navigation in Continuous Environments)は、AIのフロンティアである。 本稿では,VLN-CEタスクに適した大規模言語モデル(LLM)に基づく生成エージェントであるCog-GAを紹介する。 Cog-GAは、人間のような認知過程をエミュレートするための二重戦略を採用している。
  論文  参考訳（メタデータ） (2024-09-04T08:30:03Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models [68.13636352687257]
  VLMの空間知覚と推論能力を高めるために空間領域GPT(SpatialRGPT)を導入する。 推測中、ユーザが指定した領域の提案が提供されると、SpatialRGPTは相対的な方向と距離を正確に知覚できる。 本研究では,空間的推論タスクにおける局所的プロンプトと非局所的プロンプトの双方において,空間的RGPTにより性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:59:06Z)
• A Dual Semantic-Aware Recurrent Global-Adaptive Network For Vision-and-Language Navigation [3.809880620207714]
  VLN(Vision-and-Language Navigation)は、エージェントが言語と視覚の手がかりを使用してターゲット領域を特定することを必要とする現実的だが困難なタスクである。 本研究は、上記の問題に対処するため、DSRG(Dual semantic-aware Recurrent Global-Adaptive Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-05T15:06:08Z)
• Bridging the Gap Between Learning in Discrete and Continuous Environments for Vision-and-Language Navigation [41.334731014665316]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)における既存の作業のほとんどは、離散的または連続的な環境に焦点を当てている。 ナビゲーション中に候補となるウェイポイントの集合を生成するための予測器を提案する。 予測された経路点を持つ連続環境を航行するエージェントは,低レベル動作を使用するエージェントよりも有意に優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-05T14:56:14Z)
• PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection [57.49788100647103]
  LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。 現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。 本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
  論文  参考訳（メタデータ） (2020-12-18T18:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。