論文の概要: ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments
- arxiv url: http://arxiv.org/abs/2504.09843v1
- Date: Mon, 14 Apr 2025 03:29:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:49:49.342485
- Title: ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments
- Title（参考訳）: ST-Booster: 連続環境における視覚・言語ナビゲーションのための反復的時空間知覚ブースタ
- Authors: Lu Yue, Dongliang Zhou, Liang Xie, Erwei Yin, Feitian Zhang,
- Abstract要約: VLN-CEは、自然言語命令に基づいて連続空間をナビゲートするエージェントを必要とする。
本稿では,マルチグラニュラリティ認識と命令認識推論による性能向上を目的としたナビゲーションブースターST-Boosterを紹介する。
大規模な実験と性能解析を行い、ST-Boosterが既存の最先端手法より優れていることを示した。
- 参考スコア（独自算出の注目度）: 1.9566515100805284
- License:
- Abstract: Vision-and-Language Navigation in Continuous Environments (VLN-CE) requires agents to navigate unknown, continuous spaces based on natural language instructions. Compared to discrete settings, VLN-CE poses two core perception challenges. First, the absence of predefined observation points leads to heterogeneous visual memories and weakened global spatial correlations. Second, cumulative reconstruction errors in three-dimensional scenes introduce structural noise, impairing local feature perception. To address these challenges, this paper proposes ST-Booster, an iterative spatiotemporal booster that enhances navigation performance through multi-granularity perception and instruction-aware reasoning. ST-Booster consists of three key modules -- Hierarchical SpatioTemporal Encoding (HSTE), Multi-Granularity Aligned Fusion (MGAF), and ValueGuided Waypoint Generation (VGWG). HSTE encodes long-term global memory using topological graphs and captures shortterm local details via grid maps. MGAF aligns these dualmap representations with instructions through geometry-aware knowledge fusion. The resulting representations are iteratively refined through pretraining tasks. During reasoning, VGWG generates Guided Attention Heatmaps (GAHs) to explicitly model environment-instruction relevance and optimize waypoint selection. Extensive comparative experiments and performance analyses are conducted, demonstrating that ST-Booster outperforms existing state-of-the-art methods, particularly in complex, disturbance-prone environments.
- Abstract（参考訳）: VLN-CE(Vision-and-Language Navigation in Continuous Environments)は、自然言語命令に基づいて未知の連続空間をナビゲートするエージェントである。
離散的な設定と比較すると、VLN-CEは2つの中核的な認識課題をもたらす。
まず、予め定義された観測点がないと、不均一な視覚記憶が生まれ、世界空間の相関が弱まる。
第2に、3次元シーンにおける累積再構成誤差は、局所的な特徴知覚を損なう構造的ノイズをもたらす。
これらの課題に対処するために,多粒性知覚と命令認識推論によるナビゲーション性能を向上させる反復時空間ブースタST-Boosterを提案する。
ST-Boosterは、階層型時空間符号化(HSTE)、マルチグラニュラリティアラインド・フュージョン(MGAF)、バリューガイド・ウェイポイント・ジェネレーション(VGWG)の3つの主要なモジュールで構成されている。
HSTEは、トポロジカルグラフを使用して長期的グローバルメモリを符号化し、グリッドマップを介して短期的なローカル詳細をキャプチャする。
MGAFは、これらの双対写像表現を幾何学的知識融合による指示と整合させる。
結果として得られる表現は、事前訓練タスクによって反復的に洗練される。
推論中、VGWGは環境命令の関連性を明示的にモデル化し、経路選択を最適化するガイドアテンションヒートマップ(GAH)を生成する。
大規模な比較実験と性能解析を行い、ST-Boosterが既存の最先端の手法、特に複雑で乱れやすい環境において優れた性能を発揮することを示した。
関連論文リスト
- UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。
エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。
UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-11-25T02:44:59Z) - Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments [19.818370526976974]
VLN-CE(Vision Language Navigation in Continuous Environments)は、AIのフロンティアである。
本稿では,VLN-CEタスクに適した大規模言語モデル(LLM)に基づく生成エージェントであるCog-GAを紹介する。
Cog-GAは、人間のような認知過程をエミュレートするための二重戦略を採用している。
論文 参考訳（メタデータ） (2024-09-04T08:30:03Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models [68.13636352687257]
VLMの空間知覚と推論能力を高めるために空間領域GPT(SpatialRGPT)を導入する。
推測中、ユーザが指定した領域の提案が提供されると、SpatialRGPTは相対的な方向と距離を正確に知覚できる。
本研究では,空間的推論タスクにおける局所的プロンプトと非局所的プロンプトの双方において,空間的RGPTにより性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2024-06-03T17:59:06Z) - Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative
Convolution Network [80.19054069988559]
自己教師付き単眼深度推定は, 方向感度と環境依存性を示す。
本稿では2つの側面において深度表現を改善する方向対応累積畳み込みネットワーク(DaCCN)を提案する。
実験の結果,提案手法は広く使用されている3つのベンチマークにおいて大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-08-10T14:32:18Z) - A Dual Semantic-Aware Recurrent Global-Adaptive Network For
Vision-and-Language Navigation [3.809880620207714]
VLN(Vision-and-Language Navigation)は、エージェントが言語と視覚の手がかりを使用してターゲット領域を特定することを必要とする現実的だが困難なタスクである。
本研究は、上記の問題に対処するため、DSRG(Dual semantic-aware Recurrent Global-Adaptive Network)を提案する。
論文 参考訳（メタデータ） (2023-05-05T15:06:08Z) - Bridging the Gap Between Learning in Discrete and Continuous
Environments for Vision-and-Language Navigation [41.334731014665316]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)における既存の作業のほとんどは、離散的または連続的な環境に焦点を当てている。
ナビゲーション中に候補となるウェイポイントの集合を生成するための予測器を提案する。
予測された経路点を持つ連続環境を航行するエージェントは,低レベル動作を使用するエージェントよりも有意に優れた性能を示す。
論文 参考訳（メタデータ） (2022-03-05T14:56:14Z) - DSPoint: Dual-scale Point Cloud Recognition with High-frequency Fusion [17.797795508707864]
高周波核融合(DSPoint)を用いたデュアルスケール点雲認識を提案する。
ボクセルに畳み込みを施すという従来の設計を逆転させ、点に注意を向ける。
広く採用されているModelNet40,ShapeNet,S3DISの実験と改善により,DSPointの最先端性能が実証された。
論文 参考訳（メタデータ） (2021-11-19T17:25:54Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z) - PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object
Detection [57.49788100647103]
LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。
現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。
本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
論文 参考訳（メタデータ） (2020-12-18T18:06:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。