論文の概要: 3D-SceneQ: Empowering 3D LLM With Query-Guided Adaptive Pruning and Multi-Modal Feature Enhancement

• arxiv url: http://arxiv.org/abs/2610.37202v1
• Date: Tue, 27 Oct 2026 13:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.635313
• Title: 3D-SceneQ: Empowering 3D LLM With Query-Guided Adaptive Pruning and Multi-Modal Feature Enhancement
• Title（参考訳）: 3D-SceneQ: Query-Guided Adaptive Pruningとマルチモーダル機能強化による3D LLMの強化
• Abstract要約: 3D-SceneQは、適応トークンプルーニングとセマンティックエンリッチメントを統一した3D大言語モデルである。 3D-SceneQは、複数のベンチマークで最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 49.63288746638134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current 3D scene understanding pipelines typically concatenate vast numbers of 3D object tokens with text tokens and feed the resulting sequence to a Large Language Model (LLM). However, existing 3D-LLMs for scene understanding encounter two major limitations: (i) excessive inclusion of task-irrelevant object data, introducing noise that reduces reasoning accuracy and increases hallucinations; and (ii) reliance solely on point cloud data, which inherently lacks the rich semantic information available in complementary 2D modalities, such as color, material properties, texture, and high-level contextual relationships. To address these challenges, we introduce 3D-SceneQ, a 3D LLM that unifies adaptive token pruning with multimodal semantic enrichment, markedly advancing scene understanding, reasoning, and grounding. Specifically, we propose a Query-Guided Adaptive Pruning (QGAP) module that adaptively selects task-relevant objects based on the intended meaning of user instructions, leveraging a learnable latent query to retain critical information while effectively suppressing irrelevant noise. In addition, we introduce a Multi-modal Object-level Feature Enhancement (MOFE) module, which integrates 2D feature embeddings from pre-trained models into 3D representation to enrich object-level semantic information. Evaluations show that 3D-SceneQ outperforms current state-of-the-art methods across multiple benchmarks (e.g., +5.7 CIDEr on Scan2Cap and +17.0 EM@1 on SQA3D), demonstrating its remarkable capabilities in various 3D language reasoning tasks.
• Abstract（参考訳）: 現在の3Dシーン理解パイプラインは、典型的には大量の3Dオブジェクトトークンをテキストトークンで結合し、その結果のシーケンスをLarge Language Model (LLM)に供給する。 しかし、シーン理解のための既存の3D-LLMには2つの大きな制限がある。 一 課題非関連対象データの過剰な取り込み、推論精度を低下させ幻覚を増大させる雑音の導入 (II)点雲データのみに依存しており、色、材料特性、テクスチャ、高レベルの文脈関係など、相補的な2Dモダリティで利用可能なリッチな意味情報を本質的に欠いている。 これらの課題に対処するため、3D-SceneQは、適応トークンプルーニングとマルチモーダルなセマンティックエンリッチメントを一体化し、シーン理解、推論、グラウンド化を著しく進める3D LLMである。 具体的には,QGAP(Query-Guided Adaptive Pruning)モジュールを提案し,ユーザ命令の意図した意味に基づいてタスク関連オブジェクトを適応的に選択する。 さらに,Multi-modal Object-level Feature Enhancement (MOFE)モジュールを導入し,事前学習したモデルからの2次元特徴埋め込みを3次元表現に統合し,オブジェクトレベルのセマンティック情報を強化する。 3D-SceneQは、複数のベンチマーク(Scan2Capの+5.7 CIDEr、SQA3Dの+17.0 EM@1など)で現在の最先端メソッドよりも優れており、様々な3D言語推論タスクにおいてその顕著な能力を示している。

関連論文リスト

• Efficient3D: A Unified Framework for Adaptive and Debiased Token Reduction in 3D MLLMs [37.792545310147965]
  本稿では,視覚的トークンプルーニングのための統合フレームワークであるEfficient3Dを提案する。 Scan2CapデータセットのCIDErは+2.57%向上した。
  論文  参考訳（メタデータ） (2026-04-03T03:32:55Z)
• Disc3D: Automatic Curation of High-Quality 3D Dialog Data via Discriminative Object Referring [10.067200639268695]
  3D Multi-modal Large Language Models (MLLM) は、大規模で高品質な3Dシーン対話データセットが不足しているため、2Dピアよりもまだ遅れている。 本稿では,生の3Dスキャンを,前回のコストのごく一部で,曖昧で高品質な対話データに変換する完全自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-11-24T06:51:34Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。