論文の概要: Task-oriented Sequential Grounding and Navigation in 3D Scenes

• arxiv url: http://arxiv.org/abs/2408.04034v2
• Date: Sat, 08 Mar 2025 01:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:41:23.146368
• Title: Task-oriented Sequential Grounding and Navigation in 3D Scenes
• Title（参考訳）: 3次元シーンにおけるタスク指向シーケンスグラウンドとナビゲーション
• Authors: Zhuofan Zhang, Ziyu Zhu, Junhao Li, Pengxiang Li, Tianxu Wang, Tengyu Liu, Xiaojian Ma, Yixin Chen, Baoxiong Jia, Siyuan Huang, Qing Li,
• Abstract要約: 3D環境における自然言語の接地は、堅牢な3Dビジョン言語アライメントを実現するための重要なステップである。 本研究では,3次元シーンにおけるタスク指向の逐次的グラウンドとナビゲーションという,新しいタスクを紹介する。 SG3Dは22,346のタスクと112,236のステップからなる大規模データセットで、4,895の現実世界の3Dシーンにまたがる。
• 参考スコア（独自算出の注目度）: 33.740081195089964
• License:
• Abstract: Grounding natural language in 3D environments is a critical step toward achieving robust 3D vision-language alignment. Current datasets and models for 3D visual grounding predominantly focus on identifying and localizing objects from static, object-centric descriptions. These approaches do not adequately address the dynamic and sequential nature of task-oriented scenarios. In this work, we introduce a novel task: Task-oriented Sequential Grounding and Navigation in 3D Scenes, where models must interpret step-by-step instructions for daily activities by either localizing a sequence of target objects in indoor scenes or navigating toward them within a 3D simulator. To facilitate this task, we present SG3D, a large-scale dataset comprising 22,346 tasks with 112,236 steps across 4,895 real-world 3D scenes. The dataset is constructed by combining RGB-D scans from various 3D scene datasets with an automated task generation pipeline, followed by human verification for quality assurance. We benchmark contemporary methods on SG3D, revealing the significant challenges in understanding task-oriented context across multiple steps. Furthermore, we propose SG-LLM, a state-of-the-art approach leveraging a stepwise grounding paradigm to tackle the sequential grounding task. Our findings underscore the need for further research to advance the development of more capable and context-aware embodied agents.
• Abstract（参考訳）: 3D環境における自然言語の接地は、堅牢な3Dビジョン言語アライメントを実現するための重要なステップである。 現在の3Dビジュアルグラウンドのためのデータセットとモデルは、主に静的なオブジェクト中心の記述からオブジェクトを特定し、ローカライズすることに焦点を当てている。 これらのアプローチは、タスク指向のシナリオの動的およびシーケンシャルな性質を適切に解決しない。 本研究は,3次元シーンにおけるタスク指向の逐次的接地とナビゲーション(Sequential Grounding and Navigation in 3D Scenes)を提案する。 この作業を容易にするために,22,346のタスクからなる大規模データセットSG3Dと,4,895の現実世界の3Dシーンを112,236ステップで比較した。 データセットは、さまざまな3DシーンデータセットからのRGB-Dスキャンと自動タスク生成パイプラインを組み合わせて構築され、次いで品質保証のための人間による検証が行われる。 我々はSG3Dの現代手法をベンチマークし、複数のステップでタスク指向のコンテキストを理解する上で重要な課題を明らかにした。 さらに,SG-LLMを提案する。SG-LLMは,ステップワイズグラウンド化のパラダイムを活用し,逐次グラウンド化の課題に対処する手法である。 以上の知見は,より有能でコンテキスト対応な実施剤の開発を促進するために,さらなる研究の必要性を浮き彫りにしている。

関連論文リスト

• Open-Vocabulary High-Resolution 3D (OVHR3D) Data Segmentation and Annotation Framework [1.1280113914145702]
  本研究の目的は,3次元セグメンテーションタスクのための包括的で効率的なフレームワークの設計と開発である。 このフレームワークはGrounding DINOとSegment Any Modelを統合し、3Dメッシュによる2D画像レンダリングの強化によって強化される。
  論文  参考訳（メタデータ） (2024-12-09T07:39:39Z)
• Street Gaussians without 3D Object Tracker [86.62329193275916]
  既存の手法では、オブジェクトポーズの労働集約的な手動ラベリングを使用して、標準的な空間内で動的オブジェクトを再構築し、レンダリング中にこれらのポーズに基づいてそれらを動かす。 本研究では,3次元オブジェクト融合戦略における2次元ディープトラッカーの関連性を利用して,安定なオブジェクト追跡モジュールを提案する。 我々は、軌道誤差を自律的に補正し、見逃した検出を回復する暗黙の特徴空間に、モーションラーニング戦略を導入することで、避けられないトラッキングエラーに対処する。
  論文  参考訳（メタデータ） (2024-12-07T05:49:42Z)
• S2O: Static to Openable Enhancement for Articulated 3D Objects [20.310491257189422]
  本稿では,静的な3次元オブジェクトを静的なオブジェクトから生成するS2Oタスクを紹介する。 この課題に対処するための統一的なフレームワークを定式化し、オープンな3Dオブジェクトのデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-09-27T16:34:13Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Habitat Synthetic Scenes Dataset (HSSD-200): An Analysis of 3D Scene Scale and Realism Tradeoffs for ObjectGoal Navigation [70.82403156865057]
  本研究では,合成3次元シーン・データセット・スケールとリアリズムが,オブジェクトの探索とナビゲートを行う具体的エージェントの訓練作業に与える影響について検討する。 我々の実験によると、我々の小規模データセットで訓練されたエージェントは、はるかに大きなデータセットで訓練されたエージェントと一致するか、より優れています。
  論文  参考訳（メタデータ） (2023-06-20T05:07:23Z)
• 3D-Aware Object Goal Navigation via Simultaneous Exploration and Identification [19.125633699422117]
  本稿では,2つの簡単なサブ政治に基づく3D認識型ObjectNavのフレームワークを提案する。 私たちのフレームワークは,Matterport3DとGibsonのデータセット上で,すべてのモジュールベースのメソッドの中で最高のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-12-01T07:55:56Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。