論文の概要: Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation

• arxiv url: http://arxiv.org/abs/2603.06250v1
• Date: Fri, 06 Mar 2026 13:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.782722
• Title: Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation
• Title（参考訳）: 表現セグメンテーションを考慮した3次元インスタンス認識のための階層的協調融合
• Abstract要約: 一般化された3D参照式(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいて3Dシーン内のオブジェクトをローカライズする。 既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。 HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。
• 参考スコア（独自算出の注目度）: 91.2768117730855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalised 3D Referring Expression Segmentation (3D-GRES) localizes objects in 3D scenes based on natural language, even when descriptions match multiple or zero targets. Existing methods rely solely on sparse point clouds, lacking rich visual semantics for fine-grained descriptions. We propose HCF-RES, a multi-modal framework with two key innovations. First, Hierarchical Visual Semantic Decomposition leverages SAM instance masks to guide CLIP encoding at dual granularities -- pixel-level and instance-level features -- preserving object boundaries during 2D-to-3D projection. Second, Progressive Multi-level Fusion integrates representations through intra-modal collaboration, cross-modal adaptive weighting between 2D semantic and 3D geometric features, and language-guided refinement. HCF-RES achieves state-of-the-art results on both ScanRefer and Multi3DRefer.
• Abstract（参考訳）: 一般化された3D参照式セグメンテーション(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいてオブジェクトを3Dシーンにローカライズする。 既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。 HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。 まず、階層的なビジュアルセマンティック分解はSAMインスタンスマスクを活用し、2D-to-3Dプロジェクション中にオブジェクト境界を保存するCLIPエンコーディングを2つの粒度(ピクセルレベルとインスタンスレベル)でガイドする。 第二に、プログレッシブ・マルチレベル・フュージョンは、モーダル内協調、2次元意味論と3次元幾何学的特徴間の相互適応重み付け、言語誘導の洗練による表現を統合する。 HCF-RESはScanReferとMulti3DReferの両方で最先端の結果を得る。

関連論文リスト

• Consistent Scene Understanding in 3D Gaussian Splatting via Multi-Cue Mask Refinement [13.986963122264633]
  本稿では,3次元ガウス散乱(3DGS)特徴場の最適化を導くために,一貫した2次元マスクを生成する新しいフレームワークを提案する。 視点特異的セグメントをコヒーレントな3Dプリミティブに変換することで、安定した3Dインスタンスセグメント化と効果的な下流編集作業が可能になる。
  論文  参考訳（メタデータ） (2026-07-02T05:00:38Z)
• GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation [38.12499404546835]
  オープンな3次元セグメンテーションのための階層的幾何-セマンティック整合性を統合するフレームワークであるGeoGuideを提案する。 具体的には,不確実性に基づくスーパーポイント蒸留モジュールを導入し,幾何学的特徴と意味的特徴を融合させる。 ScanNet v2、Matterport3D、nuScenesに関する実験は、GeoGuideの優れた性能を示している。
  論文  参考訳（メタデータ） (2026-03-27T10:29:19Z)
• Mono3DVG-EnSD: Enhanced Spatial-aware and Dimension-decoupled Text Encoding for Monocular 3D Visual Grounding [42.41930714202838]
  CLIP-Guided Lexical Certainty Adapter (CLIP-LCA) と Dimension-Decoupled Module (D2M) の2つの主要なコンポーネントを統合する新しいフレームワーク Mono3DVG-EnSD を提案する。 特に,Far(Acc@0.5)の難易度を+13.54%向上させる手法を提案する。
  論文  参考訳（メタデータ） (2025-11-10T10:02:30Z)
• Unlocking 3D Affordance Segmentation with 2D Semantic Knowledge [45.19482892758984]
  Affordance segmentationは、3Dオブジェクトを機能的に異なる部分にパースすることを目的としている。 我々は,3次元エンコーダを昇降した2次元意味論と整合させ,再現,親和性,多様性を共同で最適化し,意味的に整理された表現を得るための事前学習戦略であるCross-Modal Affinity Transfer (CMAT)を導入する。 さらに,マルチモーダルプロンプトとCMAT対応機能を統合し,高精度かつ迅速なセグメンテーションマップを生成するCAST (Cross-modal Affordance Transformer) を設計する。
  論文  参考訳（メタデータ） (2025-10-09T15:01:26Z)
• CORE-3D: Context-aware Open-vocabulary Retrieval by Embeddings in 3D [0.0]
  3Dシーンの理解は、AIとロボティクスの具体化の基礎であり、インタラクションとナビゲーションの信頼性をサポートする。 近年のアプローチでは、視覚言語モデル(VLM)により生成された2次元クラス非依存マスクに埋め込みベクトルを割り当てることで、ゼロショットでオープンな3Dセマンティックマッピングを実現している。 プログレッシブな粒度改善を施したセマンティックSAMを用いて、より正確で多数のオブジェクトレベルのマスクを生成する。
  論文  参考訳（メタデータ） (2025-09-29T09:43:00Z)
• PGOV3D: Open-Vocabulary 3D Semantic Segmentation with Partial-to-Global Curriculum [20.206273757144547]
  PGOV3Dはオープンな3Dセマンティックセマンティックセグメンテーションを改善するための部分言語カリキュラムを導入した新しいフレームワークである。 我々は、密接な意味情報を提供する部分的なシーンでモデルを事前訓練するが、比較的単純な幾何学である。 第2段階では、よりスペーサーで構造的に複雑である、完全なシーンレベルの点雲上でモデルを微調整する。
  論文  参考訳（メタデータ） (2025-06-30T08:13:07Z)
• econSG: Efficient and Multi-view Consistent Open-Vocabulary 3D Semantic Gaussians [56.85804719947]
  3DGSを用いたオープン語彙セマンティックセマンティックセグメンテーションのためのeconSGを提案する。 筆者らのeconSGは,既存手法と比較して,4つのベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2025-04-08T13:12:31Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• Segment Any 3D Object with Language [58.471327490684295]
  本稿では,Segment any 3D Object with LanguagE (SOLE)を紹介した。 具体的には、バックボーンとデコーダの両方にマルチモーダル意味を組み込むマルチモーダル融合ネットワークを提案する。 我々のSOLEは、ScanNetv2、ScanNet200、Replicaベンチマークにおいて、従来の方法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-04-02T17:59:10Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。