論文の概要: SenseFuse: Label-Free Fusion of Image and Shape Encoders for Open-Vocabulary 3D Instance Segmentation
- arxiv url: http://arxiv.org/abs/2609.20475v1
- Date: Thu, 17 Sep 2026 14:32:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.323808
- Title: SenseFuse: Label-Free Fusion of Image and Shape Encoders for Open-Vocabulary 3D Instance Segmentation
- Title（参考訳）: SenseFuse: オープン語彙3Dインスタンスセグメンテーションのための画像および形状エンコーダのラベルフリー融合
- Abstract要約: SenseFuseは2次元画像と3次元形状エンコーダのバランスをとるラベルフリーの融合法である。
ScanNet200、Replica、ScanNet++で評価されたすべての設定において、SenseFuseはラベルの精度を向上させる。
- 参考スコア（独自算出の注目度）: 26.932246990823895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-vocabulary scene understanding is fundamental for robotics, laying the groundwork for spatial reasoning and object manipulation. While closed-vocabulary 3D instance segmentation heavily leverages 3D shape information, state-of-the-art open-vocabulary methods remain predominantly restricted to 2D image features or image-distilled representations during mask labeling. In this paper, we propose SenseFuse, a label-free fusion method that balances 2D image and 3D shape encoders for robust open-vocabulary 3D instance segmentation, refining only the mask-labeling stage of existing pipelines. We reveal that 2D image and 3D shape encoders exhibit largely disjoint failure patterns and rarely share identical wrong labels, whereas two 2D image encoders frequently repeat the same errors. This distinct behavior makes the 2D and 3D pair inherently complementary. We introduce an adaptive mechanism that selects a scene-level fusion weight to maximize a label-free sensitivity measure, estimated directly from a single scene's unlabeled proposals in milliseconds. SenseFuse improves labeling accuracy in every evaluated setting across ScanNet200, Replica, and ScanNet++, recovering 67-100% (median 93%) of the gain achievable with an oracle weight, and it raises instance AP in 21 of 22 reported settings. Code is available at https://github.com/hanes1207/SenseFuse.
- Abstract（参考訳）: オープン・ボキャブラリ・シーンの理解はロボット工学の基本であり、空間的推論とオブジェクト操作の基礎となる。
クローズドボキャブラリの3Dインスタンスセグメンテーションは3D形状情報を大いに活用するが、最先端のオープンボキャブラリ法はマスクラベリング時の2D画像の特徴や画像拡散表現に大きく制限されている。
本稿では,2次元画像と3次元形状エンコーダのバランスをとるラベルフリー融合方式であるSenseFuseを提案する。
2次元画像エンコーダと3次元形状エンコーダは、ほぼ不連続な故障パターンを示し、同一のラベルを共有することは稀であるが、2次元画像エンコーダは同じ誤りを繰り返している。
この異なる挙動により、2D対と3D対は本質的に相補的である。
本研究では,1シーンのラベル付けされていない提案をミリ秒で直接推定し,ラベルなしの感度尺度を最大化するために,シーンレベルの融合重みを選択する適応機構を提案する。
SenseFuseは、評価されたScanNet200、Replica、ScanNet++の各設定におけるラベリング精度を改善し、オラクル重量で達成可能なゲインの67-100%(中間93%)を回復する。
コードはhttps://github.com/hanes1207/SenseFuse.comで入手できる。
関連論文リスト
- CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance [33.42204651464501]
CoInは、2Dインペイントモデルと3DGSをマルチステージの一貫性パイプラインを通じてブリッジするフレームワークである。
参照ビュー(2D ->3D)に適応的に重み付けすることで、粗い3Dシーンを再構成するための特徴注意付き参照適応GSを導入する。
最後に、テクスチュア・エンハンシング・ディスクリミネータは高光度リアリズムを実現するために3Dシーンを洗練する(2D ->3D)。
論文 参考訳（メタデータ） (2026-06-25T22:24:27Z) - Data-Efficient Semantic Segmentation of 3D Point Clouds via Open-Vocabulary Image Segmentation-based Pseudo-Labeling [0.20305676256390928]
トレーニングセグメンテーションモデルは、トレーニングシーンの不足、ポイントレベルのアノテーションの不足、ポイントクラウドが再構成された2D画像シーケンスの欠如という、3つの同時的なデータ不足に直面していることが多い。
本稿では,学習データ不足を補う擬似ラベル生成器として,Open-Vocabulary Image (PLOVIS) モデルを用いたポイント擬似ラベル生成を提案する。
PLOVISは、最先端の弱い教師付き学習アルゴリズムを含む既存の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-13T05:16:39Z) - Integrating SAM Supervision for 3D Weakly Supervised Point Cloud Segmentation [66.65719382619538]
3Dセマンティックセグメンテーションの現在の手法では、大きな、不規則な、秩序のない3Dポイントクラウドデータの注釈付けの難しさに対処するため、限定アノテーション付きトレーニングモデルが提案されている。
本稿では,2次元基礎モデルから生成したセグメンテーションマスクを組み込んだ,疎可な3次元アノテーションの有用性を最大化する手法を提案する。
論文 参考訳（メタデータ） (2025-08-27T14:13:01Z) - 3D Can Be Explored In 2D: Pseudo-Label Generation for LiDAR Point Clouds Using Sensor-Intensity-Based 2D Semantic Segmentation [3.192308005611312]
そこで我々は,3次元セマンティックセマンティックセマンティクスパイプラインを導入し,アライメントシーンと最先端2次元セマンティクス手法を利用した。
本手法は,センサ強度で色付けされたLiDARスキャンから2次元ビューを生成し,これらのビューに2次元セマンティックセマンティックセグメンテーションを適用した。
分割された2D出力は3Dポイントにバックプロジェクターされ、単純な投票ベースの推定器が使用される。
論文 参考訳（メタデータ） (2025-05-06T08:31:32Z) - Cues3D: Unleashing the Power of Sole NeRF for Consistent and Unique Instances in Open-Vocabulary 3D Panoptic Segmentation [48.231573110948]
Open-vocabulary 3D panoptic segmentationは、最近重要なトレンドとして現れている。
先行連想の代わりにNeural Radiance Field(NeRF)のみに依存するコンパクトなアプローチであるCues3Dを提案する。
ScanNet v2、ScanNet200、ScanNet++、Replicaの3Dインスタンス、パノプティクス、セマンティックセグメンテーションタスクを対象に実験を行った。
論文 参考訳（メタデータ） (2025-05-01T08:12:03Z) - OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding [54.981605111365056]
本稿では,3次元点レベルの開語彙理解が可能な3次元ガウススティング(3DGS)に基づくOpenGaussianを紹介する。
我々の主な動機は、既存の3DGSベースのオープン語彙法が主に2Dピクセルレベルの解析に焦点を当てていることに起因している。
論文 参考訳（メタデータ） (2024-06-04T07:42:33Z) - PanopticNeRF-360: Panoramic 3D-to-2D Label Transfer in Urban Scenes [53.60876822010642]
粗い3Dアノテーションとノイズの多い2Dセマンティックキューを組み合わせて高品質なパノプティカルラベルを生成する新しいアプローチであるPanopticNeRF-360を提案する。
実験では,KITTI-360データセット上でのラベル転送方式に対するPanopticNeRF-360の最先端性能を実証した。
論文 参考訳（メタデータ） (2023-09-19T17:54:22Z) - Learning 3D Representations from 2D Pre-trained Models via
Image-to-Point Masked Autoencoders [52.91248611338202]
I2P-MAEという名前のイメージ・ツー・ポイント・マスケッド・オートエンコーダを用いて,2次元事前学習モデルから優れた3次元表現を得る方法を提案する。
自己教師付き事前学習により、よく学習された2D知識を利用して、3Dマスクによる自動エンコーディングをガイドする。
I2P-MAEは最先端の90.11%の精度、+3.68%の精度で第2ベストに到達し、より優れた転送能力を示す。
論文 参考訳（メタデータ） (2022-12-13T17:59:20Z) - Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene
Segmentation [48.677336052620895]
そこで本研究では,画素ごとの2Dセマンティックスとインスタンスラベルの取得を目的とした,新しい3D-to-2Dラベル転送手法であるPanoptic NeRFを提案する。
3D空間内での推論と2Dラベルへのレンダリングにより、我々の2Dセマンティクスとインスタンスラベルは、設計によって複数ビューに一貫性がある。
論文 参考訳（メタデータ） (2022-03-29T04:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。