論文の概要: Chat-Scene++: Exploiting Context-Rich Object Identification for 3D LLM

• arxiv url: http://arxiv.org/abs/2603.27507v1
• Date: Sun, 29 Mar 2026 04:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.991766
• Title: Chat-Scene++: Exploiting Context-Rich Object Identification for 3D LLM
• Title（参考訳）: Chat-Scene++: 3D LLMのためのコンテキストリッチオブジェクト識別のエクスプロイト
• Authors: Haifeng Huang, Yilun Chen, Zehan Wang, Jiangmiao Pang, Zhou Zhao,
• Abstract要約: Chat-Scene++は3Dシーンをコンテキストリッチなオブジェクトシーケンスとして表現するMLLMフレームワークである。 Chat-Scene++は、シーンをコンテキスト意味を持ったオブジェクトのシーケンスとして構成することにより、オブジェクト中心の表現とインタラクションを可能にする。 Chat-Scene++は5つの主要な3Dビジョン言語ベンチマークで最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 71.01178857331969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in multi-modal large language models (MLLMs) have shown strong potential for 3D scene understanding. However, existing methods struggle with fine-grained object grounding and contextual reasoning, limiting their ability to interpret and interact with complex 3D environments. In this paper, we present Chat-Scene++, an MLLM framework that represents 3D scenes as context-rich object sequences. By structuring scenes as sequences of objects with contextual semantics, Chat-Scene++ enables object-centric representation and interaction. It decomposes a 3D scene into object representations paired with identifier tokens, allowing LLMs to follow instructions across diverse 3D vision-language tasks. To capture inter-object relationships and global semantics, Chat-Scene++ extracts context-rich object features using large-scale pre-trained 3D scene-level and 2D image-level encoders, unlike the isolated per-object features in Chat-Scene. Its flexible object-centric design also supports grounded chain-of-thought (G-CoT) reasoning, enabling the model to distinguish objects at both category and spatial levels during multi-step inference. Without the need for additional task-specific heads or fine-tuning, Chat-Scene++ achieves state-of-the-art performance on five major 3D vision-language benchmarks: ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, and SQA3D. These results highlight its effectiveness in scene comprehension, object grounding, and spatial reasoning. Additionally, without reconstructing 3D worlds through computationally expensive processes, we demonstrate its applicability to real-world scenarios using only 2D inputs.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、3次元シーン理解に強い可能性を示している。 しかし、既存の手法は、複雑な3D環境を解釈し、相互作用する能力を制限する、きめ細かい物体の接地と文脈的推論に苦慮している。 本稿では,3次元シーンをコンテキストリッチなオブジェクトシーケンスとして表現するMLLMフレームワークChat-Scene++を提案する。 Chat-Scene++は、シーンをコンテキスト意味を持ったオブジェクトのシーケンスとして構成することにより、オブジェクト中心の表現とインタラクションを可能にする。 3Dシーンを識別子トークンと組み合わせたオブジェクト表現に分解することで、LLMは様々な3D視覚言語タスクの命令に従うことができる。 Chat-Scene++は、オブジェクト間の関係とグローバルなセマンティクスをキャプチャするために、Chat-Sceneの分離されたオブジェクトごとの機能とは異なり、大規模にトレーニングされた3Dシーンレベルと2Dイメージレベルのエンコーダを使用して、コンテキスト豊富なオブジェクト機能を抽出する。 フレキシブルなオブジェクト中心設計は、多段階推論においてオブジェクトのカテゴリと空間レベルを区別できる、接地チェーン・オブ・ソート(G-CoT)推論もサポートする。 タスク固有のヘッドの追加や微調整を必要とせずに、Chat-Scene++は、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dという5つの主要な3Dビジョン言語ベンチマークで最先端のパフォーマンスを実現している。 これらの結果は,シーン理解,オブジェクトの接地,空間的推論における有効性を強調した。 さらに,計算コストのかかるプロセスで3次元世界を再構成することなく,実世界のシナリオに適用可能であることを示す。

関連論文リスト

• Text-Scene: A Scene-to-Language Parsing Framework for 3D Scene Understanding [38.97818584066075]
  Text-Sceneは3Dシーンを自動的にテキスト記述に解析してシーンを理解するフレームワークである。 幾何学解析とMLLMの両方を活用することで、Text-Sceneは正確で詳細で人間の解釈可能な記述を生成する。
  論文  参考訳（メタデータ） (2025-09-20T15:10:45Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Multimodal 3D Reasoning Segmentation with Complex Scenes [92.92045550692765]
  シーン内の複数のオブジェクトによるセグメンテーションを推論するための3次元推論セグメンテーションタスクを提案する。 このタスクは、オブジェクト間の3次元空間関係によって強化された3Dセグメンテーションマスクと詳細なテキスト説明を作成することができる。 さらに,複数のオブジェクトのクエリを扱う新しい3D推論ネットワークMORE3Dを設計する。
  論文  参考訳（メタデータ） (2024-11-21T08:22:45Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。