論文の概要: HCSG: Human-Centric Semantic-Geometric Reasoning for Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2605.13321v1
- Date: Wed, 13 May 2026 10:34:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.985674
- Title: HCSG: Human-Centric Semantic-Geometric Reasoning for Vision-Language Navigation
- Title(参考訳): HCSG:視覚言語ナビゲーションのための人間中心セマンティック幾何学推論
- Authors: Haoxuan Xu, Tianfu Li, Wenbo Chen, Yi Liu, Jin Wu, Huashuo Lei, Yunfan Lou, Lujia Wang, Hesheng Wang, Haoang Li,
- Abstract要約: VLNは、データとモデルのキャパシティのスケーリングによって、驚くべき進歩を遂げた。
VLNのための最初の人中心型フレームワークであるHCSGを提案する。
このフレームワークは、動的人間ロボット環境における安全で社会的にインテリジェントなナビゲーションのための堅牢な基盤を提供する。
- 参考スコア(独自算出の注目度): 26.790598190282136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: VLN has achieved remarkable progress by scaling data and model capacity. However, the assumption of a static environment breaks down in real-world indoor scenarios, where robots inevitably encounter dynamic pedestrians. Existing human-aware approaches typically treat humans merely as moving obstacles based on implicit visual cues, lacking the explicit reasoning required to interpret human intentions or maintain social norms. To address this, we propose HCSG, the first human-centric framework for VLN. This framework provides a robust foundation for safe, socially intelligent navigation in dynamic human-robot environments that shifts the paradigm from passive collision avoidance to active human behavior understanding. Specifically, HCSG introduces a unified Human Understanding Module that synergizes two key capabilities: (i) geometric forecasting, which predicts human pose and trajectory to anticipate future motion dynamics; and (ii) semantic interpretation, which leverages a Vision-Language Model (VLM) to generate natural language descriptions of human actions and intentions. These semantic-geometric representations are fused into the agent's topological map for instruction-conditioned planning. Furthermore, a social distance loss is introduced to enforce socially compliant interaction distances. Extensive experiments on the HA-VLNCE benchmark demonstrate that HCSG significantly outperforms state-of-the-art methods, achieving a 14% improvement in Success Rate and a 34% reduction in Collision Rate. Our project can be seen at https://haoxuanxu1024.github.io/HCSG/.
- Abstract(参考訳): VLNは、データとモデルのキャパシティのスケーリングによって、驚くべき進歩を遂げた。
しかし、静的な環境の仮定は、ロボットが必然的にダイナミックな歩行者と遭遇する現実世界の屋内シナリオで崩壊する。
既存のヒューマン・アウェア・アプローチは、人間の意図を解釈したり社会的規範を維持するのに必要な明確な推論を欠いた、暗黙の視覚的手がかりに基づいて、人間の移動障害として扱うのが一般的である。
そこで我々は,VLNのための最初の人間中心型フレームワークであるHCSGを提案する。
このフレームワークは、動的人間ロボット環境における安全で社会的にインテリジェントなナビゲーションのための堅牢な基盤を提供する。
具体的には、HCSGは2つの重要な機能を相乗化する統合されたヒューマン理解モジュールを導入した。
一 将来の運動力学を予測するための人間の姿勢及び軌道を予測する幾何学的予測
(II)人間の行動や意図の自然言語記述を生成するために視覚言語モデル(VLM)を利用する意味解釈。
これらの意味幾何学的表現は、指示条件付き計画のためのエージェントのトポロジカルマップに融合される。
さらに、社会的に適合した相互作用距離を強制するために、社会的距離損失を導入する。
HA-VLNCEベンチマークの大規模な実験により、HCSGは最先端の手法を著しく上回り、成功率14%、衝突率34%の低下を達成した。
私たちのプロジェクトはhttps://haoxuanxu1024.github.io/HCSG/で見ることができる。
関連論文リスト
- Seeing is Believing (and Predicting): Context-Aware Multi-Human Behavior Prediction with Vision Language Models [8.568706722040421]
本稿では,CAMP-VLM (Context-Aware Multi- Human Behavior Prediction):視覚言語モデル(VLM)に基づくフレームワークを提案する。
CAMP-VLMは、シーングラフからの視覚入力と空間認識からコンテキスト特徴を取り入れ、人間とシーンの相互作用の予測を強化する。
予測精度が66.9%まで向上する。
論文 参考訳(メタデータ) (2025-12-17T20:44:32Z) - HA-VLN 2.0: An Open Benchmark and Leaderboard for Human-Aware Navigation in Discrete and Continuous Environments with Dynamic Multi-Human Interactions [64.69468932145234]
HA-VLN 2.0は、明示的な社会的認識制約を導入した統一ベンチマークである。
その結果、明示的な社会的モデリングはナビゲーションの堅牢性を向上し、衝突を減らすことが示唆された。
論文 参考訳(メタデータ) (2025-03-18T13:05:55Z) - Human-Aware Vision-and-Language Navigation: Bridging Simulation to Reality with Dynamic Human Interactions [69.9980759344628]
Vision-and-Language Navigation (VLN)は、人間の指示に基づいてナビゲートするエンボディエージェントを開発することを目的としている。
本稿では,人間の動的活動を取り入れ,従来のVLNを拡張したHuman-Aware Vision-and-Language Navigation (HA-VLN)を紹介する。
本稿では, クロスモーダル融合と多種多様なトレーニング戦略を利用して, エキスパート・スーパーモーダル・クロスモーダル (VLN-CM) と非エキスパート・スーパーモーダル・ディシジョン・トランスフォーマー (VLN-DT) のエージェントを提示する。
論文 参考訳(メタデータ) (2024-06-27T15:01:42Z) - Predicting Human Mobility via Self-supervised Disentanglement Learning [21.61423193132924]
本稿では,次のPOI予測問題に対処するため,SSDLと呼ばれる新しい解を提案する。
本研究では,人間の本質的な周期性と常に変化する意図の理解を高めるために,二つの現実的な軌道拡張手法を提案する。
4つの実世界のデータセットで実施された大規模な実験により、提案したSSDLは最先端のアプローチよりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2022-11-17T16:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。