論文の概要: Geometry-Guided Semantic Reconstruction for 3D Instance Segmentation

• arxiv url: http://arxiv.org/abs/2610.16122v1
• Date: Mon, 12 Oct 2026 03:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:37:15.777633
• Title: Geometry-Guided Semantic Reconstruction for 3D Instance Segmentation
• Title（参考訳）: 3次元インスタンスセグメンテーションのための幾何学誘導セマンティック再構成
• Abstract要約: 3Dインスタンスのセグメンテーションには、幾何学的に構造化され、意味的に区別される表現が必要である。 我々は2D-to-3Dセマンティックトランスファーをtextbfmasked セマンティック再構築タスクとして定式化する。 そこで本研究では,余分なエンコーディング前において,持ち上げられた2次元事前の変調に生の3次元幾何を用いたテクスブフォメトリ変調セマンティックインジェクションを提案する。
• 参考スコア（独自算出の注目度）: 10.597102079223813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D instance segmentation requires representations that are both geometrically structured and semantically discriminative. Pure 3D encoders model spatial structure well but often lack strong appearance semantics, while directly lifting 2D priors into 3D by concatenation injects rich semantics without ensuring that they align well with the underlying 3D structure. In this paper, we address this problem by formulating 2D-to-3D semantic transfer as a \textbf{masked semantic reconstruction} task. Specifically, we mask a subset of background lifted 2D priors and train the 3D encoder to recover the missing semantic priors, providing explicit supervision for distilling rich 2D semantics into the 3D backbone. We further propose \textbf{geometry-modulated semantic injection}, which uses raw 3D geometry to modulate lifted 2D priors before sparse encoding, so that geometry explicitly controls semantic injection and alleviates the distribution gap between 2D semantic features and 3D geometric features. Experiments on two baseline frameworks demonstrate that the proposed method achieves state-of-the-art results in both full-data and few-shot settings on ScanNetV2 and ScanNet200. Code is publicly available at https://github.com/yharoldsu0627/Geometry_Guided_Semantic_Reconstruction
• Abstract（参考訳）: 3Dインスタンスのセグメンテーションには、幾何学的に構造化され、意味的に区別される表現が必要である。 純粋な3Dエンコーダは、空間構造をうまくモデル化するが、しばしば強い外観意味を欠くが、結合によって2D先行を3Dに直接持ち上げることは、それらが基礎となる3D構造とうまく一致することを保証することなく、リッチな意味論を注入する。 本稿では,2D-to-3Dセマンティックトランスファーを \textbf{masked semantic reconstruction} タスクとして定式化し,この問題に対処する。 具体的には、背景持ち上げられた2D前駆体のサブセットをマスクし、3Dエンコーダをトレーニングし、不足したセマンティック前駆体を復元し、リッチな2D意味物を3Dバックボーンに蒸留するための明確な監督を提供する。 さらに,2次元意味的特徴と3次元幾何学的特徴との分配ギャップを緩和し,意味的注入を明示的に制御するために,生の3次元幾何を用いて疎符号化前の2次元前処理を変調する「textbf{geometry-modulated semantic Injection」を提案する。 2つのベースラインフレームワークの実験では、ScanNetV2とScanNet200のフルデータおよび少数ショット設定において、提案手法が最先端の結果を達成することを示した。 コードはhttps://github.com/yharoldsu0627/Geometry_Guided_Semantic_Reconstructionで公開されている。

関連論文リスト

• A Joint 2D-3D Statistical Shape Model for Orthopedic Reconstruction [1.6200997411340154]
  術後の手術計画, インプラントサイズ, 術後のフォローアップを支援する3次元画像からの大腿骨再建術を施行した。 既存の方法では、解剖学的に妥当な形状への再構築を導く前に、形状として3次元統計形状モデル(SSM)が組み込まれていることが多い。 本研究では,共有潜在空間における2次元と3次元のセグメンテーションの共分散を明示的に捉えた2次元3次元SSMを提案する。
  論文  参考訳（メタデータ） (2026-09-08T16:46:30Z)
• GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation [38.12499404546835]
  オープンな3次元セグメンテーションのための階層的幾何-セマンティック整合性を統合するフレームワークであるGeoGuideを提案する。 具体的には,不確実性に基づくスーパーポイント蒸留モジュールを導入し,幾何学的特徴と意味的特徴を融合させる。 ScanNet v2、Matterport3D、nuScenesに関する実験は、GeoGuideの優れた性能を示している。
  論文  参考訳（メタデータ） (2026-03-27T10:29:19Z)
• GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation [57.8059956428009]
  2次元視覚言語モデルから3次元セマンティックセグメンテーションへ機能を移行しようとする最近の試みは、永続的なトレードオフを露呈している。 3次元教師モデルから抽出した幾何学的事前情報を用いて2次元VLM生成した3次元点特徴に小さな学生親和性ネットワークを適用したGeoPurifyを提案する。 遅延幾何学情報と学習された親和性ネットワークから恩恵を受けることで、GeoPurifyはトレードオフを効果的に軽減し、優れたデータ効率を実現する。
  論文  参考訳（メタデータ） (2025-10-02T16:37:56Z)
• Ov3R: Open-Vocabulary Semantic 3D Reconstruction from RGB Videos [69.21508595833623]
  Ov3Rは、RGBビデオストリームからのセマンティック3D再構成のためのフレームワークである。 CLIP3Rは、オブジェクトレベルのセマンティクスを埋め込みながら、重複するクリップから高密度なポイントマップを予測する。 2D-3D OVSは、空間的、幾何学的、意味的な手がかりを統合した融合記述子を学習することで、2D機能を3Dに持ち上げる。
  論文  参考訳（メタデータ） (2025-07-29T17:55:58Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors [11.118490283303407]
  画像レベルの雑音を3次元に引き上げるニューラルネットワークセマンティック・リコンストラクション手法を提案する。 本手法は3次元空間と2次元空間の両方で正確な意味論と幾何学を生成する。
  論文  参考訳（メタデータ） (2024-09-21T05:12:13Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Asymmetric 3D Context Fusion for Universal Lesion Detection [55.61873234187917]
  3Dネットワークは、3Dコンテキストでは強いが、教師付き事前トレーニングがない。 既存の3Dコンテキスト融合演算子は空間対称に設計されており、畳み込みのように各2Dスライス上で同一の操作を行う。 本研究では, 異なる重みを持つ非対称な3次元コンテキスト融合演算子 (A3D) を提案し, 異なる2次元スライスから3次元コンテキストを融合させる。
  論文  参考訳（メタデータ） (2021-09-17T16:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。