論文の概要: Hierarchical Floorplan-Guided Vision-Language Exploration for Embodied Question Answering
- arxiv url: http://arxiv.org/abs/2609.26360v1
- Date: Tue, 22 Sep 2026 13:02:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.381478
- Title: Hierarchical Floorplan-Guided Vision-Language Exploration for Embodied Question Answering
- Title（参考訳）: 階層型フロアプラン誘導型視覚言語探索による身体的質問応答
- Abstract要約: EQA(Embodied Question Answering)は、未確認の環境を探索するエージェントを必要とする。
本稿では,オンラインシーングラフ構築,VLMベースの計画,セマンティックフロンティア探索,フロアプラン先行処理を組み合わせた階層型EQAフレームワークを提案する。
本研究は,VLMに基づく階層型計画と構造的フロアプランを併用したEQAタスクの利点を実証するものである。
- 参考スコア（独自算出の注目度）: 11.648973329789973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied Question Answering (EQA) requires an agent to explore a previously unseen environment, gather relevant information, and answer questions about the scene. Recent approaches leverage Vision-Language Models (VLMs) together with semantic maps or scene graphs to guide exploration. However, exploration is typically driven only by local observations, while structural priors about the environment remain largely unused. We propose HFLEX-EQA, a hierarchical EQA framework that combines online scene graph construction, VLM- based planning, semantic frontier exploration, and floorplan priors. The system incrementally builds a hierarchical scene graph and an open-vocabulary occupancy map from RGB-D observations, enabling a VLM to jointly reason over the scene graph, task-relevant visual observations, exploration history, and an estimated topological floorplan. Furthermore, we introduce a room-discovery strategy that leverages the floorplan and open-vocabulary frontier semantics to guide exploration toward semantically relevant yet currently unobserved room types. We evaluate HFLEX-EQA on the OpenEQA and ExploreEQA benchmarks and demonstrate deployment on a quadruped robot in real indoor environments. Our results demonstrate the benefit of combining VLM-based hierarchical planning with structural floorplan priors for the EQA task.
- Abstract（参考訳）: EQA(Embodied Question Answering)は、エージェントが未確認の環境を探索し、関連する情報を収集し、シーンに関する質問に答えることを要求する。
近年のアプローチでは、視覚言語モデル(VLM)とセマンティックマップやシーングラフを併用して探索をガイドしている。
しかし、通常、探査は局所的な観測によってのみ行われるが、環境に関する構造的な先行は、ほとんど使われていない。
本稿では,オンラインシーングラフ構築,VLMベースの計画,セマンティックフロンティア探索,フロアプラン先行処理を組み合わせた階層型EQAフレームワークであるHFLEX-EQAを提案する。
システムは、RGB-D観測から階層的なシーングラフとオープン語彙の占有マップを段階的に構築し、VLMがシーングラフ、タスク関連視覚観測、探索履歴、推定トポロジカルフロアプランを共同で解析できるようにする。
さらに、フロアプランとオープンボキャブラリフロンティアのセマンティクスを活用して、セマンティクスに関連があるが、現在観測されていない部屋タイプへの探索をガイドする部屋発見戦略を導入する。
我々は,OpenEQAとExploreEQAのベンチマークを用いてHFLEX-EQAを評価し,実際の屋内環境における四足歩行ロボットへの展開を実証した。
本研究は,VLMに基づく階層型計画と構造的フロアプランを併用したEQAタスクの利点を実証するものである。
関連論文リスト
- Prior-SG: Task and Prior Driven Region Segmentation for Scene Graphs in Arbitrarily-Structured Environments [20.027960785504586]
確率的アライメント問題としてシーングラフを生成するタスク駆動および事前駆動のフレームワークであるPreside-SGを提案する。
我々は、多様なシミュレーションされた住宅データセットと、大規模でオープンな実環境にまたがるこのアプローチを検証する。
論文 参考訳（メタデータ） (2026-08-06T15:36:12Z) - Semantic Area Graph Reasoning for Multi-Robot Language-Guided Search [12.427956436869584]
textitSemantic Area Graph Reasoning (SAGR)は、大規模言語モデル(LLM)が環境の構造的セマンティックトポロジ的抽象化を通して、マルチロボット探索とセマンティックサーチの協調を可能にする階層的なフレームワークである。
100のシナリオにわたるHabitat-Matterport3Dデータセットの実験では、SAGRは最先端の探索手法と競合し続け、セマンティックターゲットの探索効率は最大18.8%向上した。
論文 参考訳（メタデータ） (2026-04-17T17:19:54Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - CityEQA: A Hierarchical LLM Agent on Embodied Question Answering Benchmark in City Space [35.223263448229716]
EQA(Embodied Question Answering)は主に屋内環境に焦点を当てている。
本研究では,ダイナミックな都市空間における活発な探索を通じてオープンな語彙に答える新しい課題であるCityEQAを紹介する。
我々は,1,412の人的注釈付きタスクを含む最初のベンチマークデータセットであるCityEQA-ECを提示する。
また,CityEQA に適した新規エージェントである Planner-Manager-Actor (PMA) を提案する。
論文 参考訳（メタデータ） (2025-02-18T04:36:15Z) - GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering [19.161965997033317]
EQA(Embodied Question Answering)では、エージェントは、位置した質問に自信を持って答えるために、目に見えない環境の意味的な理解を探求し、発展させなければならない。
本稿では,リアルタイムな3次元メトリセマンティックシーングラフ(3DSG)とタスク関連画像をマルチモーダルメモリとして利用して視覚言語モデル(VLM)を構築する新しいアプローチであるGraphEQAを提案する。
我々は,3DSGの階層的性質を利用した階層的計画手法を用いて,構造的計画と意味論的指導による探索を行う。
論文 参考訳（メタデータ） (2024-12-19T03:04:34Z) - GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。
私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。
地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
論文 参考訳（メタデータ） (2024-11-28T18:59:56Z) - Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。
我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。
クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
論文 参考訳（メタデータ） (2023-11-19T06:00:39Z) - A Picture is Worth a Thousand Words: Language Models Plan from Pixels [53.85753597586226]
計画は, 実環境下で長時間の作業を行う人工エージェントの重要な機能である。
本研究では,事前学習型言語モデル(PLM)を用いて,具体的視覚環境におけるテキスト命令からのプランシーケンスを推論する。
論文 参考訳（メタデータ） (2023-03-16T02:02:18Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳（メタデータ） (2021-03-31T15:01:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。