論文の概要: Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model

• arxiv url: http://arxiv.org/abs/2405.17427v2
• Date: Sun, 09 Feb 2025 07:32:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:25:36.316553
• Title: Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model
• Title（参考訳）: Reason3D:大規模言語モデルによる3次元セグメンテーションの探索と推論
• Authors: Kuan-Chih Huang, Xiangtai Li, Lu Qi, Shuicheng Yan, Ming-Hsuan Yang,
• Abstract要約: Reason3Dは、ポイントクラウドデータとテキストプロンプトを処理し、テキスト応答とセグメンテーションマスクを生成する。 被写体を広範に分割する粗大なアプローチを用いた階層型マスクデコーダを提案する。
• 参考スコア（独自算出の注目度）: 108.35777542298224
• License:
• Abstract: Recent advancements in multimodal large language models (LLMs) have demonstrated significant potential across various domains, particularly in concept reasoning. However, their applications in understanding 3D environments remain limited, primarily offering textual or numerical outputs without generating dense, informative segmentation masks. This paper introduces Reason3D, a novel LLM designed for comprehensive 3D understanding. Reason3D processes point cloud data and text prompts to produce textual responses and segmentation masks, enabling advanced tasks such as 3D reasoning segmentation, hierarchical searching, express referring, and question answering with detailed mask outputs. We propose a hierarchical mask decoder that employs a coarse-to-fine approach to segment objects within expansive scenes. It begins with a coarse location estimation, followed by object mask estimation, using two unique tokens predicted by LLMs based on the textual query. Experimental results on large-scale ScanNet and Matterport3D datasets validate the effectiveness of our Reason3D across various tasks.
• Abstract（参考訳）: マルチモーダル大言語モデル(LLM)の最近の進歩は、特に概念推論において、様々な領域において有意なポテンシャルを示している。 しかし、それらの3D環境理解への応用は限定的であり、主に高密度で情報的なセグメンテーションマスクを生成することなく、テキストや数値出力を提供する。 本稿では,包括的3次元理解を目的としたLLMであるReason3Dを紹介する。 Reason3Dは、ポイントクラウドデータとテキストプロンプトを処理し、テキスト応答とセグメンテーションマスクを生成し、3D推論セグメンテーション、階層探索、参照表現、詳細なマスク出力による質問応答などの高度なタスクを可能にする。 被写体を広範に分割する粗大なアプローチを用いた階層型マスクデコーダを提案する。 粗い位置推定から始まり、続いてオブジェクトマスク推定に続き、テキストクエリに基づいてLLMによって予測される2つのユニークなトークンを使用する。 大規模ScanNetとMatterport3Dデータセットの実験結果は、さまざまなタスクにおけるReason3Dの有効性を検証する。

関連論文リスト

• Multimodal 3D Reasoning Segmentation with Complex Scenes [92.92045550692765]
  シーン内の複数のオブジェクトに対する3次元推論セグメンテーションタスクを提案することで,研究ギャップを埋める。 このタスクは、オブジェクト間の3次元空間関係によって強化された3Dセグメンテーションマスクと詳細なテキスト説明を作成することができる。 さらに,ユーザ質問やテキスト出力による多目的3D推論セグメンテーションを可能にする,シンプルで効果的なMORE3Dを設計する。
  論文  参考訳（メタデータ） (2024-11-21T08:22:45Z)
• 3D-GRES: Generalized 3D Referring Expression Segmentation [77.10044505645064]
  3D参照式(3D-RES)は、自然言語の記述に基づいて、特定のインスタンスを3D空間内にセグメント化することを目的としている。 一般化された3D参照式(3D-GRES)は、自然言語命令に基づいて任意の数のインスタンスをセグメントする機能を拡張する。
  論文  参考訳（メタデータ） (2024-07-30T08:59:05Z)
• 3D Instance Segmentation Using Deep Learning on RGB-D Indoor Data [0.0]
  2次元領域をベースとした畳み込みニューラルネットワーク(Mask R-CNN)深層学習モデルにポイントベースレンダリングモジュールを適用し,深度情報と統合してオブジェクトの3Dインスタンスを認識し,セグメント化する。 3Dポイントクラウド座標を生成するために、RGB画像内の認識対象領域のセグメンテーションされた2Dピクセルを奥行き画像の(u,v)ポイントにマージする。
  論文  参考訳（メタデータ） (2024-06-19T08:00:35Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• PARIS3D: Reasoning-based 3D Part Segmentation Using Large Multimodal Model [19.333506797686695]
  本稿では,3次元オブジェクトに対する推論部分分割と呼ばれる新しいセグメンテーションタスクを提案する。 我々は3Dオブジェクトの特定の部分に関する複雑で暗黙的なテキストクエリに基づいてセグメンテーションマスクを出力する。 本稿では,暗黙のテキストクエリに基づいて3次元オブジェクトの一部を分割し,自然言語による説明を生成するモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-04T23:38:45Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。