論文の概要: Knowing Where to Look: Interactive Object Search via Spatial-Semantic Fusion

• arxiv url: http://arxiv.org/abs/2611.00499v1
• Date: Sat, 31 Oct 2026 00:41:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:31:56.65204
• Title: Knowing Where to Look: Interactive Object Search via Spatial-Semantic Fusion
• Title（参考訳）: 見るべき場所を知る:空間意味融合による対話型物体探索
• Abstract要約: 明示的な3次元信念における意味的および幾何学的証拠に対する共同推論は、人間のような対話的な物体探索を可能にすると論じる。 我々はこのシステムを双方向の移動ヒューマノイド上にエンドツーエンドに展開し、幾何学のみの探索法やLLMに基づく計画法よりも優れていることを発見した。
• 参考スコア（独自算出の注目度）: 31.566056025322613
• License:
• Abstract: When searching for an object, humans naturally combine semantic intuition - reasoning about where the object is likely to be stored - with geometric awareness of what parts of the space are visible, occluded, or unexplored. Effective robot object search requires the same joint reasoning, yet existing methods rely on only one: geometric methods maintain principled spatial beliefs but lack deep semantic understanding, while language-model based methods leverage commonsense knowledge but maintain no explicit belief over space. We argue that jointly reasoning over semantic and geometric evidence in an explicit 3D belief enables human-like interactive object search that outperforms either modality alone. To test this claim, we build a system that accumulates per-object VLM plausibility scores and geometric occupancy evidence via Bayesian log-odds filtering into a unified 3D voxel belief field. High-belief regions in the combined belief field drive action selection at each step: taking a closer look from a different viewpoint, navigating toward an unexplored region of the workspace, or physically interacting with a closed cabinet. We deploy this system end-to-end on a bimanual mobile humanoid and find that it outperforms geometry-only search and LLM-based planning methods. Project website - https://skymanaditya1.github.io/objsearch-website/
• Abstract（参考訳）: オブジェクトを探すとき、人間は自然に意味論的直観(オブジェクトがどこに収まるかという推論)と、空間のどの部分が見えるか、隠されているか、探索されていないかという幾何学的な認識を結びつける。 幾何学的手法は原則的空間的信念を維持しているが、深い意味的理解を欠いている一方、言語モデルに基づく手法は常識的知識を活用するが、空間に対する明確な信念は維持しない。 明示的な3次元信念における意味的および幾何学的証拠に対する共同推論は、人間のような対話的な物体探索を可能にし、モダリティのみに勝ると主張する。 この主張を検証するため、我々はベイズ対数検定によるVLMの可視性スコアと幾何学的占有性証拠を集積したシステムを構築し、統一された3次元ボクセル信念場にフィルタリングする。 統合信念フィールドの高信頼領域は、それぞれのステップで行動選択を駆動する:異なる視点からより深く見て、ワークスペースの未探索領域に向かってナビゲートするか、クローズドキャビネットと物理的に相互作用する。 我々はこのシステムを双方向の移動ヒューマノイド上にエンドツーエンドに展開し、幾何学のみの探索法やLLMに基づく計画法よりも優れていることを発見した。 Project website - https://skymanaditya1.github.io/objsearch-website/

関連論文リスト

• Imagine2Real: Towards Zero-shot Humanoid-Object Interaction via Video Generative Priors [51.096845970243855]
  高忠実度3Dデータの不足により,全体Humanoid-Object Interaction (HOI) がボトルネックとなる。 本研究では,ゼロショットHOIフレームワークであるImagine2Realを提案する。
  論文  参考訳（メタデータ） (2026-05-21T10:15:39Z)
• OnlineSI: Taming Large Language Model for Online 3D Understanding and Grounding [53.33067495235966]
  OnlineSIは、ビデオストリームが与えられた周囲の空間的理解を改善するためのフレームワークである。 私たちの中核となる考え方は、過去の観測を維持するために有限空間記憶を維持することです。 さらに3Dポイントのクラウド情報を意味情報と統合し、MLLMがシーン内のオブジェクトをよりよく見つけ、識別するのに役立つ。
  論文  参考訳（メタデータ） (2026-01-23T08:17:57Z)
• SURPRISE3D: A Dataset for Spatial Understanding and Reasoning in Complex 3D Scenes [105.8644620467576]
  Stextscurprise3Dは複雑な3次元シーンにおける言語誘導空間推論のセグメンテーションを評価するために設計された新しいデータセットである。 Stextscurprise3Dは、ScanNet++ v2から900以上の詳細な屋内シーンにわたる200k以上の視覚言語ペアで構成されている。 データセットには、オブジェクト名なしで意図的に作成される89k以上の人間アノテーション付き空間クエリが含まれている。
  論文  参考訳（メタデータ） (2025-07-10T14:01:24Z)
• GREAT: Geometry-Intention Collaborative Inference for Open-Vocabulary 3D Object Affordance Grounding [53.42728468191711]
  Open-Vocabulary 3D object affordance groundingは、任意の命令で3Dオブジェクト上のアクション可能性の領域を予測することを目的としている。 GREAT (GeometRy-intEntion collAboraTive Inference) を提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:23:15Z)
• Non-rigid Relative Placement through 3D Dense Diffusion [11.12190956406194]
  相対配置」とは、ある物体が別の物体に配置されていることを予測することである。 近年の相対配置法は,ロボット操作のためのデータ効率学習に大きく進歩している。 これらは、現実の環境では非剛体が多用されているにもかかわらず、まだ変形可能な変換を表現していない。 本研究では,高密度拡散による異方性学習のための視覚に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-25T01:54:17Z)
• Generalized Object Search [0.9137554315375919]
  この論文は、不確実な3次元環境における多目的探索のための方法とシステムを開発する。 ロボットに依存しない,環境に依存しない3次元物体探索システムを構築した。 私はBoston Dynamics Spotロボット、Kinova MOVOロボット、Universal Robots UR5eロボットアームにデプロイしました。
  論文  参考訳（メタデータ） (2023-01-24T16:41:36Z)
• Semantic Linking Maps for Active Visual Object Search [14.573513188682183]
  我々はランドマークと対象物の間の共通空間関係に関する背景知識を利用する。 本稿では,セマンティックリンクマップ(SLiM)モデルの導入により,アクティブなビジュアルオブジェクト探索戦略を提案する。 SLiMに基づいて、ターゲットオブジェクトを探索する次の最適なポーズを選択するハイブリッド検索戦略について述べる。
  論文  参考訳（メタデータ） (2020-06-18T18:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。