論文の概要: MMCoT$^3$: Empowering 3D Scene Understanding with 3D-Text Interleaved Multi-Modal Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2611.01676v1
• Date: Sun, 01 Nov 2026 07:51:02 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:37:18.757921
• Title: MMCoT$^3$: Empowering 3D Scene Understanding with 3D-Text Interleaved Multi-Modal Chain-of-Thought Reasoning
• Title（参考訳）: MMCoT$^3$: 3Dテキストインターリーブによる3次元シーン理解の強化
• Abstract要約: MMCoT$3$は3Dシーン理解のための最初の3Dテキストインターリーブ・チェーン・オブ・ソート(CoT)フレームワークである。 中心となる考え方は、テキストによる推論をタスク関連3Dエビデンスと明示的にインターリーブすることで、モデルがシーンの観察を参考にすることである。 我々はさらに、キャプション、質問応答、対話、計画タスクにまたがる約176.2Kインスタンスを備えた大規模3D固有のCoT命令チューニングデータセットであるPointCoTを開発した。
• 参考スコア（独自算出の注目度）: 63.83768865270236
• License:
• Abstract: Understanding and reasoning over 3D scenes from point clouds is essential for a broad range of AI applications. Recent 3D large language models have shown promising results, yet they still face two fundamental limitations: (i) insufficient capability for grounded multi-step reasoning in complex 3D scenes, and (ii) a text-centric inference paradigm that lacks effective interaction between textual reasoning and visual evidence. As a result, these models often fail to verify intermediate inferences, disambiguate similar object instances, and avoid hallucinations. To address these limitations, we propose MMCoT$^3$, the first 3D-Text Interleaved Chain-of-Thought (CoT) framework for 3D scene understanding. The core idea is to explicitly interleave textual reasoning with task-relevant 3D evidence, enabling the model to consult scene observations throughout the reasoning process. In addition, since a textual mention in 3D scenes may correspond to multiple candidate objects, naive object-mention alignment can inject incorrect evidence and mislead subsequent reasoning. To mitigate this multi-instance ambiguity, we design an ambiguity-aware evidence aggregation mechanism that uses query-guided cross-attention to fuse candidate object tokens and inject both evidence and ambiguity cues into the reasoning process. To better equip the model with multi-step reasoning capability, we further develop PointCoT, a large-scale 3D-specific CoT instruction tuning dataset with approximately 176.2K instances spanning captioning, question answering, dialogue, and planning tasks. Extensive experiments on six benchmarks show that our method consistently improves performance and achieves state-of-the-art results, validating the effectiveness of our proposed ambiguity-aware 3D-text interleaved reasoning for 3D scene understanding.
• Abstract（参考訳）: ポイントクラウドからの3Dシーンの理解と推論は、幅広いAIアプリケーションにとって不可欠である。 最近の3D大言語モデルは有望な結果を示しているが、それでも2つの基本的な制限に直面している。 一 複雑な3Dシーンにおける地上多段階推論の能力不足、及び (II)テキスト分析と視覚的証拠との効果的な相互作用に欠けるテキスト中心推論パラダイム。 その結果、これらのモデルは中間的推論の検証に失敗し、類似したオブジェクトのインスタンスを曖昧にし、幻覚を避けることができる。 これらの制約に対処するために,3次元シーン理解のための最初の3Dテキストインターリーブ・チェーン(CoT)フレームワークであるMMCoT$^3$を提案する。 中心となる考え方は、テキストによる推論をタスク関連3Dエビデンスと明示的にインターリーブし、推論プロセスを通してシーンの観察を参照できるようにすることである。 さらに、3Dシーンにおけるテキストによる言及は複数の候補オブジェクトに対応している可能性があるため、単純で客観的なアライメントは誤った証拠を注入し、その後の推論を誤解させる可能性がある。 この多インスタンス曖昧性を軽減するために,クエリ誘導型クロスアテンションを用いた曖昧性認識型エビデンスアグリゲーション機構を設計し,候補オブジェクトトークンを融合させ,エビデンスとあいまい性の両方を推論プロセスに注入する。 モデルに多段階推論機能を持たせるために,キャプション,質問応答,対話,計画タスクにまたがる約176.2Kインスタンスを備えた大規模3D特化CoT命令チューニングデータセットであるPointCoTを開発した。 6つのベンチマークによる実験結果から,提案手法は連続的に性能を向上し,最先端の結果が得られ,曖昧性を考慮した3Dテキストインターリーブによる3Dシーン理解の有効性が検証された。

関連論文リスト

• 3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding [4.6658306510829]
  3D-VCDは、3Dエンボディエージェントの幻覚緩和のための最初の推論時視覚コントラストデコーディングフレームワークである。 3D-VCDは、オブジェクト中心の表現に意味的および幾何学的摂動を適用することで、歪んだ3Dシーングラフを構築する。 再訓練をすることなく,基礎的推論を継続的に改善できることが示される。
  論文  参考訳（メタデータ） (2026-04-09T17:57:35Z)
• Descrip3D: Enhancing Large Language Model-based 3D Scene Understanding with Object-Level Text Descriptions [28.185661905201222]
  Descrip3Dは自然言語を使ってオブジェクト間の関係を明示的にエンコードする新しいフレームワークである。 グラウンド、キャプション、質問応答など、さまざまなタスクを統一した推論を可能にする。
  論文  参考訳（メタデータ） (2025-07-19T09:19:16Z)
• Multimodal 3D Reasoning Segmentation with Complex Scenes [92.92045550692765]
  シーン内の複数のオブジェクトによるセグメンテーションを推論するための3次元推論セグメンテーションタスクを提案する。 このタスクは、オブジェクト間の3次元空間関係によって強化された3Dセグメンテーションマスクと詳細なテキスト説明を作成することができる。 さらに,複数のオブジェクトのクエリを扱う新しい3D推論ネットワークMORE3Dを設計する。
  論文  参考訳（メタデータ） (2024-11-21T08:22:45Z)
• Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。 弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。 オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
  論文  参考訳（メタデータ） (2023-07-18T13:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。