論文の概要: SleepWalk: A Three-Tier Benchmark for Stress-Testing Instruction-Guided Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2605.10376v1
• Date: Mon, 11 May 2026 11:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.759108
• Title: SleepWalk: A Three-Tier Benchmark for Stress-Testing Instruction-Guided Vision-Language Navigation
• Title（参考訳）: SleepWalk: ストレステストによる視覚ガイドナビゲーションのための3段階ベンチマーク
• Authors: Niyati Rawal, Sushant Ravva, Shah Alam Abir, Saksham Jain, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das,
• Abstract要約: SleepWalk(スリープウォーク)は、単一シーンの3Dワールドにおいて、命令付き軌道予測を評価するためのベンチマークである。 2,472個の3次元環境上での3つのフロンティア・ビジョン・ランゲージ・モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 18.453985392979785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have advanced rapidly in multimodal perception and language understanding, yet it remains unclear whether they can reliably ground language into spatially coherent, plausibly executable actions in 3D digital environments. We introduce SleepWalk, a benchmark for evaluating instruction-grounded trajectory prediction in single-scene 3D worlds generated from textual scene descriptions and filtered for navigability. Unlike prior navigation benchmarks centered on long-range exploration across rooms, SleepWalk targets localized, interaction-centric embodied reasoning: given rendered visual observations and a natural-language instruction, a model must predict a trajectory that respects scene geometry, avoids collisions, and terminates at an action-compatible location. The benchmark covers diverse indoor and outdoor environments and organizes tasks into three tiers of spatial and temporal difficulty, enabling fine-grained analysis of grounding under increasing compositional complexity. Using a standardized pointwise judge-based evaluation protocol, we evaluate three frontier VLMs on 2,472 curated 3D environments with nine instructions per scene. Results reveal systematic failures in grounded spatial reasoning, especially under occlusion, interaction constraints, and multi-step instructions: performance drops as the difficulty level of the tasks increase. In general, current VLMs can somewhat produce trajectories that are simultaneously spatially coherent, plausibly executable, and aligned with intended actions. By exposing failures in a controlled yet scalable setting, SleepWalk provides a critical benchmark for advancing grounded multimodal reasoning, embodied planning, vision-language navigation, and action-capable agents in 3D environments.
• Abstract（参考訳）: 視覚言語モデル(VLM)は多モーダルな認識と言語理解において急速に進歩しているが、3Dデジタル環境において言語を空間的に一貫性があり、実行可能な行動に確実に根ざすことができるかどうかは不明だ。 スリープウォーク(SleepWalk)は,テキストのシーン記述から生成され,ナビゲーション性のためにフィルタされた単一シーンの3次元世界における命令基底軌道予測のベンチマークである。 部屋を横断する長距離探索に焦点を当てた以前のナビゲーションベンチマークとは異なり、SleepWalkは局所的で相互作用中心の推論を目標としている: レンダリングされた視覚的観察と自然言語による指示が与えられた場合、モデルはシーン幾何学を尊重し、衝突を避け、アクション互換の位置で終了する軌跡を予測しなければならない。 このベンチマークは、様々な屋内および屋外環境をカバーし、タスクを3段階の空間的および時間的難易度に分類し、組成の複雑さが増大する中でグラウンドのきめ細かい分析を可能にする。 基準点判断に基づく評価プロトコルを用いて,2,472個の3D環境上での3つのフロンティアVLMの評価を行った。 その結果,特にオクルージョン,相互作用制約,マルチステップ命令の下での空間的推論において,課題の難易度が増大するにつれて,性能低下が生じるという体系的な障害が明らかになった。 一般に、現在のVLMは、空間的に整合性があり、可算可能であり、意図された動作と整合した軌跡を生成することができる。 制御されながらスケーラブルな環境での障害を明らかにすることで、SleepWalkは、地上のマルチモーダル推論、具体的計画、視覚言語ナビゲーション、アクション対応エージェントを3D環境で前進させるための重要なベンチマークを提供する。

関連論文リスト

• PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models [33.89873575295867]
  我々はPokeGymを紹介した。Pokemon Legends: Z-Aは視覚的に複雑な3DオープンワールドであるRole-Playing Gameである。 PokeGymは厳格なコードレベルの分離を強制する:エージェントは生のRGB観測のみで動作するが、独立した評価器はメモリスキャンによって成功を検証する。 このベンチマークは、ナビゲーション、インタラクション、混合シナリオにまたがる30のタスク(30-220ステップ)と、3つの命令の粒度(Visual-Guided、Step-Guided、Goal-Only)で構成され、視覚的な接地、セマンティック推論、自律的な探索機能を体系的に分解する。
  論文  参考訳（メタデータ） (2026-04-09T15:12:36Z)
• 3DGSNav: Enhancing Vision-Language Model Reasoning for Object Navigation via Active 3D Gaussian Splatting [12.057873540714098]
  3DGSNavは、3D Gaussian Splatting (3DGS)を視覚言語モデル(VLM)の永続メモリとして組み込んで空間推論を強化する新しいフレームワークである。 3DGSNavは環境の3DGS表現を段階的に構築し、フロンティア対応のファーストパーソンビューの軌跡誘導自由視点レンダリングを可能にする。 ナビゲーション中、リアルタイムオブジェクト検出器が潜在的なターゲットをフィルタリングし、VLM駆動のアクティブな視点スイッチングがターゲットを再検証する。
  論文  参考訳（メタデータ） (2026-02-12T16:41:26Z)
• TrackTeller: Temporal Multimodal 3D Grounding for Behavior-Dependent Object References [33.32268865872059]
  時間的言語に基づく3Dグラウンド化について検討し,その目的は,多フレーム観測を利用して,現在のフレーム内の参照対象を特定することである。 本稿では,LDAR-image fusion,言語条件付きデコード,時間的推論を統合アーキテクチャで統合した時間的マルチモーダルグラウンドディングフレームワークであるTrackTellerを提案する。
  論文  参考訳（メタデータ） (2025-12-25T12:02:56Z)
• OccVLA: Vision-Language-Action Model with Implicit 3D Occupancy Supervision [31.929268076595122]
  OccVLAは、3D占有率表現を統一されたマルチモーダル推論プロセスに統合する新しいフレームワークである。 OccVLAは、軌跡計画のためのnuScenesベンチマークの最先端結果を達成し、3次元視覚的質問応答タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-09-06T03:47:21Z)
• ReSem3D: Refinable 3D Spatial Constraints via Fine-Grained Semantic Grounding for Generalizable Robotic Manipulation [12.059517583878756]
  本稿では,意味的に多様な環境に対する統一的な操作フレームワークReSem3Dを提案する。 本稿では,ReSem3Dがゼロショット条件下で多様な操作を行い,適応性と一般化性を示すことを示す。
  論文  参考訳（メタデータ） (2025-07-24T10:07:31Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。