論文の概要: Grounding Vision and Language to 3D Masks for Long-Horizon Box Rearrangement

• arxiv url: http://arxiv.org/abs/2603.23676v1
• Date: Tue, 24 Mar 2026 19:31:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.008044
• Title: Grounding Vision and Language to 3D Masks for Long-Horizon Box Rearrangement
• Title（参考訳）: 長軸箱配置のための3次元マスクへの接地ビジョンと言語
• Authors: Ashish Malik, Caleb Lowe, Aayam Shrestha, Stefan Lee, Fuxin Li, Alan Fern,
• Abstract要約: 本研究では,視覚的観察のみを用いて,未指定の自然言語目標から3次元環境における長期計画について検討する。 本稿では,2つの3次元マスクの逐次的反応予測として長期計画を定式化するリアクティブ・アクション・マスク・プランナ(RAMP-3D)を提案する。 RAMP-3Dは長距離再配置作業において79.5%の成功率を獲得し、2D VLMベースのベースラインを著しく上回っている。
• 参考スコア（独自算出の注目度）: 36.17959438783121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study long-horizon planning in 3D environments from under-specified natural-language goals using only visual observations, focusing on multi-step 3D box rearrangement tasks. Existing approaches typically rely on symbolic planners with brittle relational grounding of states and goals, or on direct action-sequence generation from 2D vision-language models (VLMs). Both approaches struggle with reasoning over many objects, rich 3D geometry, and implicit semantic constraints. Recent advances in 3D VLMs demonstrate strong grounding of natural-language referents to 3D segmentation masks, suggesting the potential for more general planning capabilities. We extend existing 3D grounding models and propose Reactive Action Mask Planner (RAMP-3D), which formulates long-horizon planning as sequential reactive prediction of paired 3D masks: a "which-object" mask indicating what to pick and a "which-target-region" mask specifying where to place it. The resulting system processes RGB-D observations and natural-language task specifications to reactively generate multi-step pick-and-place actions for 3D box rearrangement. We conduct experiments across 11 task variants in warehouse-style environments with 1-30 boxes and diverse natural-language constraints. RAMP-3D achieves 79.5% success rate on long-horizon rearrangement tasks and significantly outperforms 2D VLM-based baselines, establishing mask-based reactive policies as a promising alternative to symbolic pipelines for long-horizon planning.
• Abstract（参考訳）: 視覚的観察のみを用いて、未特定の自然言語目標から3D環境における長期計画について検討し、多段階の3Dボックス再構成タスクに焦点を当てた。 既存のアプローチは、状態と目標の不安定なリレーショナルグラウンドを持つシンボリックプランナーや、2次元視覚言語モデル(VLM)からの直接アクションシーケンス生成に依存している。 どちらのアプローチも、多くのオブジェクトに対する推論、リッチな3D幾何学、暗黙のセマンティック制約に苦慮している。 近年の3D VLMの進歩は、3Dセグメンテーションマスクへの自然言語参照の強い根拠を示し、より一般的な計画能力の可能性を示している。 我々は既存の3Dグラウンドモデルを拡張し、ロングホライズン計画(RAMP-3D)をペア化された3Dマスクのシーケンシャルな反応予測として定式化するリアクティブ・アクション・マスク・プランナー(RAMP-3D)を提案する。 得られたシステムは、RGB-D観測と自然言語タスク仕様を処理し、3Dボックス再構成のための多段階のピック・アンド・プレイスアクションをリアクティブに生成する。 1-30ボックスと多種多様な自然言語制約を備えた倉庫型環境において,11のタスク変種を対象に実験を行った。 RAMP-3Dは長距離再配置タスクにおいて79.5%の成功率を実現し、2D VLMベースのベースラインを著しく上回り、長期計画のためのシンボルパイプラインの代替としてマスクベースのリアクティブポリシーを確立する。

関連論文リスト

• Masking Matters: Unlocking the Spatial Reasoning Capabilities of LLMs for 3D Scene-Language Understanding [37.97359376885946]
  3次元空間言語指導マスク(3D-SLIM)は,3次元シーンの空間構造に合わせて,因果マスクを適応的注意マスクに置き換える効果的なマスキング戦略である。 3D-SLIMは単純で、アーキテクチャの変更を必要とせず、余分なパラメータを追加しないが、多様な3Dシーン言語タスク間で大幅なパフォーマンス向上をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T07:22:36Z)
• SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
  本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。 次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。 本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-07-31T17:56:55Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking [6.599971425078935]
  既存の3Dインスタンスセグメンテーションメソッドは、オーバーセグメンテーションの問題に頻繁に遭遇し、下流タスクを複雑にする冗長で不正確な3D提案につながります。 この課題は、フレーム全体に密集した2Dマスクを点雲に上げ、直接の監督なしに3D候補の提案を形成する、教師なしのマージンアプローチから生じる。 本研究では,2次元マスクセグメンテーション・トラッキング基盤モデル(SAM-2)を用いて,映像フレーム間の一貫したオブジェクトマスクを確保する3次元マスク追跡モジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:26:31Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model [108.35777542298224]
  Reason3Dは、ポイントクラウドデータとテキストプロンプトを処理し、テキスト応答とセグメンテーションマスクを生成する。 被写体を広範に分割する粗大なアプローチを用いた階層型マスクデコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:41Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。