論文の概要: Think-Capture: Active 3D Geometry Acquisition for Spatial Reasoning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.29232v1
• Date: Wed, 21 Oct 2026 05:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.231555
• Title: Think-Capture: Active 3D Geometry Acquisition for Spatial Reasoning in Vision-Language Models
• Title（参考訳）: Think-Capture:視覚言語モデルにおける空間推論のためのアクティブ3次元幾何獲得
• Abstract要約: VLM(Vision-Language Models)は、2D認識において優れるが、スパース視点で一貫した3D関係を維持することができないことが多い。 本稿では、まずタスククリティカルなオブジェクトを識別し、要求に応じてそれらのジオメトリを取得するクエリ条件付きフレームワークThink-Captureを提案する。
• 参考スコア（独自算出の注目度）: 19.556366627372427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) excel at 2D recognition but often fail to maintain consistent 3D relations across sparse viewpoints, leading to spatial hallucinations under occlusion and perspective changes. Existing methods commonly fuse all frames with dense geometry, incurring substantial computation and context overhead while encouraging blind reliance on imperfect estimators. We present Think-Capture, a query-conditioned framework that first identifies task-critical objects and then acquires their geometry on demand. A 3D toolkit lifts zero-shot masks into a common coordinate frame, and a Symbolic 3D State Abstraction compresses object and camera states into structured text. Hierarchical Group Relative Policy Optimization (GRPO) trains the VLM on cases in which geometry either helps or misleads, teaching it when to use tool evidence and when to fall back on visual cues. Think-Capture-4B reaches 54.4% on MindCube-Tiny (+21.5 points over its backbone), 39.1% on the MMSI-Bench positional subset (+7.9), and 42.8% on ViewSpatial (+5.2). It also remains robust under coordinate and mask perturbations. The full stack fits one 24 GB GPU and serves as an asynchronous high-level reasoner on an Agibot G1. Our code is available at https://github.com/819346675/Think-Capture.
• Abstract（参考訳）: VLM(Vision-Language Models)は2次元認識において優れるが、スパース視点で一貫した3次元関係を維持することができず、オクルージョンとパースペクティブの変化の下で空間幻覚を引き起こす。 既存の手法は、全てのフレームを密度の高い幾何学で融合させ、実際の計算とコンテキストオーバーヘッドを発生させ、不完全な推定器への盲点依存を奨励する。 本稿では、まずタスククリティカルなオブジェクトを識別し、要求に応じてそれらのジオメトリを取得するクエリ条件付きフレームワークThink-Captureを提案する。 3Dツールキットはゼロショットマスクを共通の座標フレームに上げ、シンボリック3D状態抽象化はオブジェクトとカメラ状態を構造化テキストに圧縮する。 Hierarchical Group Relative Policy Optimization (GRPO) は、幾何学が助けになるか、誤解を招くかで VLM を訓練する。 Think-Capture-4BはMindCube-Tinyで54.4%、MMSI-Benchで39.1%、ViewSpatialで42.8%に達する(+5.2)。 また、座標とマスクの摂動の下でも頑丈である。 フルスタックは1台の24GB GPUに適合し、Agibot G1の非同期ハイレベル推論として機能する。 私たちのコードはhttps://github.com/8 19346675/Think-Capture.comから入手可能です。

関連論文リスト

• Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering [117.00090778730738]
  マルチビュー画像から3次元世界を考えることは、マルチモーダル大言語モデルにとって根本的な課題である。 シーンのコンパクトな3D表現を組み立てることを学ぶMLLMであるImagine3D-LLMを紹介する。 本研究では,複数の空間的推論と3次元理解ベンチマークにおいて,Imagine3D-LLMが従来手法より一貫して優れていたことを示す。
  論文  参考訳（メタデータ） (2026-09-29T17:59:52Z)
• Geometric Encoding for Spatial Reasoning in Vision-Language Models [2.399370258616979]
  VLM(Vision-Language Models)は、その空間的および時間的特性を推論するよりも、ビデオに現れるものを認識する方がはるかに信頼性が高い。 ビデオから空間構造を明示的に計算する,知覚と幾何学のパイプラインであるGeometric Codeを提案する。
  論文  参考訳（メタデータ） (2026-09-28T02:29:01Z)
• GraFT: A Training-Free Framework for Spatial Reasoning in Multimodal Large Language Models via 3D Scene Graphs [44.1490359705113]
  GraFTは、コンパクトでメンテナンスが容易な3Dシーングラフ(3DSG)を通して欠落した3D構造を提供する、トレーニング不要のフレームワークである。 GraFTはすべてのメトリクスを同じバックボーンベースラインで改善し、CIDErを27%引き上げる。 ScanQAでは、GraFTはすべてのメトリクスを同じバックボーンベースラインで改善し、CIDErを27%上昇させた。
  論文  参考訳（メタデータ） (2026-09-03T14:11:56Z)
• AgentGrounder: Zero-Shot 3D Visual Pointcloud Grounding using Multimodal Language Models [0.0]
  3Dビジュアルグラウンド(3DVG)は、AIを具現化する上で不可欠な機能であり、自然言語の記述に基づいて、エージェントがオブジェクトを3Dシーンにローカライズする必要がある。 タスク固有の3Dトレーニングを必要とせずに,色のついた点クラウド上で直接動作する,ゼロショットの3Dビジュアルグラウンドティングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T14:29:04Z)
• Multiple Consistent 2D-3D Mappings for Robust Zero-Shot 3D Visual Grounding [26.63197319187971]
  MCM-VGは、堅牢なゼロショット3DVGを実現する新しいフレームワークである。 3つの基本的な次元にまたがって2D-3Dの一貫性を強制する。 MCM-VGは、ゼロショット3D視覚グラウンドのための新しい最先端技術を設定する。
  論文  参考訳（メタデータ） (2026-04-29T03:38:56Z)
• Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
  バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。 本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。 我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
  論文  参考訳（メタデータ） (2026-02-27T08:54:20Z)
• LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight [105.9472902251177]
  次世代の予測問題として3D検出を行うVLMネイティブレシピを提案する。 このモデルでは, 49.89 AP_3Dの精度を+15.51倍に向上した。
  論文  参考訳（メタデータ） (2025-11-25T18:59:45Z)
• EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
  身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。 オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
  論文  参考訳（メタデータ） (2024-08-21T17:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。