論文の概要: PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding

• arxiv url: http://arxiv.org/abs/2606.06485v1
• Date: Thu, 04 Jun 2026 17:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.033515
• Title: PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding
• Title（参考訳）: PAR3D:シーン理解のための部分認識表現を備えた統一3D-MLLM
• Authors: Shaohui Dai, Yansong Qu, You Shen, Shengchuan Zhang, Liujuan Cao,
• Abstract要約: PAR3Dは、モデルが3Dシーンでオブジェクトとその部分を理解し、推論し、グラウンドすることを可能にする、統合された部分認識3D-MLLMフレームワークである。 提案手法は,部分レベルの質問応答とセグメンテーションの参照を大幅に改善するとともに,オブジェクトレベルの視覚言語タスクに対して高い性能を実現する。
• 参考スコア（独自算出の注目度）: 41.210392758568126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in 3D multimodal large language models (3D-MLLMs) have enabled unified solutions for 3D scene understanding tasks, including visual question answering, captioning, and referring segmentation. However, existing 3D-MLLMs remain largely object-centric, limiting their ability to model fine-grained part structures that are essential for embodied interaction with 3D environments. In this work, we present PAR3D, a unified part-aware 3D-MLLM framework that enables models to understand, reason about, and ground both objects and their parts in 3D scenes. To enable training and evaluation of part-aware 3D scene understanding, we introduce ScenePart, a synthetic 3D scene dataset with part-level annotations and language instructions. We further develop Part-Aware 3D Representation Learning to enrich 3D visual representations with fine-grained part-level semantics, and propose Hierarchical Segmentation Query Generation to ground part targets via hierarchical object-part queries. Extensive experiments show that our method substantially improves part-level question answering and referring segmentation, while also achieving strong performance across object-level vision-language tasks.
• Abstract（参考訳）: 3次元多モード大言語モデル(3D-MLLM)の最近の進歩により、視覚的質問応答、キャプション、参照セグメンテーションを含む3次元シーン理解タスクの統一的なソリューションが実現されている。 しかし、既存の3D-MLLMは、主にオブジェクト中心であり、3D環境との相互作用に不可欠な微細な部分構造をモデル化する能力を制限する。 本研究では,3Dシーンにおけるオブジェクトとその部分の理解,推論,グラウンドを可能にする,統合された部分認識型3D-MLLMフレームワークであるPAR3Dを提案する。 部分認識型3Dシーン理解のトレーニングと評価を可能にするために,パートレベルのアノテーションと言語命令を備えた合成3DシーンデータセットであるScenePartを紹介した。 より詳細な部分レベルのセマンティクスで3次元視覚表現を豊かにするための部分認識型3次元表現学習を開発し,階層的オブジェクト部分クエリにより対象を対象とする階層的セグメンテーションクエリ生成を提案する。 広汎な実験により,本手法は部分レベルの問合せやセグメンテーションの参照を著しく改善し,また,オブジェクトレベルの視覚言語タスクに対して高い性能を達成できることが示された。

関連論文リスト

• Chat-Scene++: Exploiting Context-Rich Object Identification for 3D LLM [71.01178857331969]
  Chat-Scene++は3Dシーンをコンテキストリッチなオブジェクトシーケンスとして表現するMLLMフレームワークである。 Chat-Scene++は、シーンをコンテキスト意味を持ったオブジェクトのシーケンスとして構成することにより、オブジェクト中心の表現とインタラクションを可能にする。 Chat-Scene++は5つの主要な3Dビジョン言語ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T04:16:04Z)
• Segment Any 3D-Part in a Scene from a Sentence [50.46950922754459]
  本稿では,自然言語記述に基づくシーン内の任意の3次元部分のセグメンテーションを実現することを目的とする。 本稿では,高密度部分アノテーションを用いた最初の大規模3Dデータセットである3D-PUデータセットを紹介する。 手法面では,パートレベルセグメンテーションの課題に対処する3DインプットのみのフレームワークであるOpenPart3Dを提案する。
  論文  参考訳（メタデータ） (2025-06-24T05:51:22Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Kestrel: 3D Multimodal LLM for Part-Aware Grounded Description [33.55332803244455]
  PPGD(Part-Aware Point Grounded Description)は3次元マルチモーダル学習の高度化を目的とした課題である。 本稿では3DCoMPaT Grounded Instructions (3DCoMPaT-GrIn)データセットについて述べる。 Kestrelは,言語理解のための高度な言語モデルと,多段階の特徴伝搬とクエリ改善機構を融合した,パートアウェアな3Dマルチモーダルな大規模言語モデルである。
  論文  参考訳（メタデータ） (2024-05-29T09:43:48Z)
• 3DMIT: 3D Multi-modal Instruction Tuning for Scene Understanding [12.823274886850697]
  我々は3DMITという新しい高速なプロンプトチューニングパラダイムを導入する。 このパラダイムは、3Dシーンと言語間のアライメントステージを排除し、命令プロンプトを3Dモダリティ情報で拡張する。 本研究では,3次元シーン領域における多様なタスクにまたがる手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-01-06T12:20:18Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。