論文の概要: Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model

• arxiv url: http://arxiv.org/abs/2405.17427v1
• Date: Mon, 27 May 2024 17:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 13:52:58.330865
• Title: Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model
• Title（参考訳）: Reason3D:大規模言語モデルによる3次元セグメンテーションの探索と推論
• Authors: Kuan-Chih Huang, Xiangtai Li, Lu Qi, Shuicheng Yan, Ming-Hsuan Yang,
• Abstract要約: 本稿では,包括的3次元理解のための新しい大規模言語モデルReason3Dを紹介する。 拡張シーン内の小さな物体を見つけるための階層型マスクデコーダを提案する。 大規模なScanNetとMatterport3Dデータセットにおいて、Reason3Dが顕著な結果が得られることを検証する。
• 参考スコア（独自算出の注目度）: 108.35777542298224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in multimodal large language models (LLMs) have shown their potential in various domains, especially concept reasoning. Despite these developments, applications in understanding 3D environments remain limited. This paper introduces Reason3D, a novel LLM designed for comprehensive 3D understanding. Reason3D takes point cloud data and text prompts as input to produce textual responses and segmentation masks, facilitating advanced tasks like 3D reasoning segmentation, hierarchical searching, express referring, and question answering with detailed mask outputs. Specifically, we propose a hierarchical mask decoder to locate small objects within expansive scenes. This decoder initially generates a coarse location estimate covering the object's general area. This foundational estimation facilitates a detailed, coarse-to-fine segmentation strategy that significantly enhances the precision of object identification and segmentation. Experiments validate that Reason3D achieves remarkable results on large-scale ScanNet and Matterport3D datasets for 3D express referring, 3D question answering, and 3D reasoning segmentation tasks. Code and models are available at: https://github.com/KuanchihHuang/Reason3D.
• Abstract（参考訳）: マルチモーダル大言語モデル(LLM)の最近の進歩は、様々な領域、特に概念推論においてその可能性を示している。 これらの発展にもかかわらず、3D環境を理解するための応用は依然として限られている。 本稿では,包括的3次元理解を目的としたLLMであるReason3Dを紹介する。 Reason3Dは、ポイントクラウドデータとテキストプロンプトを入力として、テキスト応答とセグメンテーションマスクを生成し、3D推論セグメンテーション、階層検索、参照表現、詳細なマスク出力による質問応答などの高度なタスクを容易にする。 具体的には,階層型マスクデコーダを提案する。 このデコーダは、対象の一般領域をカバーする粗い位置推定を生成する。 この基礎推定は、オブジェクトの識別とセグメンテーションの精度を大幅に向上させる、細かな、粗いセグメンテーション戦略を促進する。 Reason3Dが大規模ScanNetおよびMatterport3Dデータセットにおいて、3D表現参照、3D質問応答、3D推論セグメンテーションタスクにおいて顕著な結果が得られることを検証する。 コードとモデルは、https://github.com/KuanchihHuang/Reason3D.comで入手できる。

関連論文リスト

• Multimodal 3D Reasoning Segmentation with Complex Scenes [92.92045550692765]
  シーン内の複数のオブジェクトに対する3次元推論セグメンテーションタスクを提案することで,研究ギャップを埋める。 このタスクは、オブジェクト間の3次元空間関係によって強化された3Dセグメンテーションマスクと詳細なテキスト説明を作成することができる。 さらに,ユーザ質問やテキスト出力による多目的3D推論セグメンテーションを可能にする,シンプルで効果的なMORE3Dを設計する。
  論文  参考訳（メタデータ） (2024-11-21T08:22:45Z)
• 3D-GRES: Generalized 3D Referring Expression Segmentation [77.10044505645064]
  3D参照式(3D-RES)は、自然言語の記述に基づいて、特定のインスタンスを3D空間内にセグメント化することを目的としている。 一般化された3D参照式(3D-GRES)は、自然言語命令に基づいて任意の数のインスタンスをセグメントする機能を拡張する。
  論文  参考訳（メタデータ） (2024-07-30T08:59:05Z)
• 3D Instance Segmentation Using Deep Learning on RGB-D Indoor Data [0.0]
  2次元領域をベースとした畳み込みニューラルネットワーク(Mask R-CNN)深層学習モデルにポイントベースレンダリングモジュールを適用し,深度情報と統合してオブジェクトの3Dインスタンスを認識し,セグメント化する。 3Dポイントクラウド座標を生成するために、RGB画像内の認識対象領域のセグメンテーションされた2Dピクセルを奥行き画像の(u,v)ポイントにマージする。
  論文  参考訳（メタデータ） (2024-06-19T08:00:35Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• PARIS3D: Reasoning-based 3D Part Segmentation Using Large Multimodal Model [19.333506797686695]
  本稿では,3次元オブジェクトに対する推論部分分割と呼ばれる新しいセグメンテーションタスクを提案する。 我々は3Dオブジェクトの特定の部分に関する複雑で暗黙的なテキストクエリに基づいてセグメンテーションマスクを出力する。 本稿では,暗黙のテキストクエリに基づいて3次元オブジェクトの一部を分割し,自然言語による説明を生成するモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-04T23:38:45Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。