Fugu-MT 論文翻訳(概要): Exploring 2D backbone effects for indoor semantic occupancy prediction

論文の概要: Exploring 2D backbone effects for indoor semantic occupancy prediction

arxiv url: http://arxiv.org/abs/2609.17257v1
Date: Tue, 15 Sep 2026 14:37:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.584382
Title: Exploring 2D backbone effects for indoor semantic occupancy prediction
Title（参考訳）: 室内意味的占有予測のための2次元バックボーン効果の探索
Abstract要約: EmbodiedScanのようなRGB-Dパイプラインでは、イメージエンコーダはしばしばデフォルトモジュールとして残される。我々はこの設計選択を直接研究する。メインのRGB-Dプロジェクション、奥行き枝、占有頭部を固定し、画像バックボーンのみを置き換える。
参考スコア（独自算出の注目度）: 3.4985539398371235
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Semantic occupancy prediction gives an embodied agent a voxel-level account of where space is free, occupied, and semantically meaningful. In RGB-D pipelines such as EmbodiedScan, the image encoder is often left as a default module, even though its features are the visual evidence later sampled into the 3D grid. We study this design choice directly. A central finding is that changing the 2D backbone improves occupancy accuracy more than several carefully designed occupancy architectures or modules. We keep the main RGB-D projection, depth branch, and occupancy head fixed, and replace only the image backbone. The compared encoders are CLIP-ResNet, CLIP-ViT, BLIP2, and DINOv2. Under the controlled setting, the measured mIoU changes substantially: DINOv2 obtains 30.55\%, BLIP2 obtains 29.49\%, CLIP-ViT obtains 24.33\%, and CLIP-ResNet obtains 17.41\%. The stronger encoders also exceed the original EmbodiedScan ResNet-50 baseline without modifying the downstream 3D fusion pipeline. Class-level results give a more detailed picture: DINOv2 is stronger on many layout and structural categories, whereas BLIP2 remains close on several object-centered classes. CLIP-ViT improves clearly over CLIP-ResNet, showing that the way CLIP features are exposed as dense tokens matters for voxel lifting. These results indicate that the image backbone is not a secondary engineering detail in embodied semantic occupancy, but a major source of variation in the final 3D prediction.
Abstract（参考訳）: セマンティック占有予測は、エンボディードエージェントに空間が自由で、占有され、意味論的に意味のある場所のボクセルレベルの説明を与える。 EmbodiedScanのようなRGB-Dパイプラインでは、イメージエンコーダはしばしばデフォルトモジュールとして残されている。我々はこの設計選択を直接研究する。中心的な発見は、2Dバックボーンの変更によって、慎重に設計された複数の占有アーキテクチャやモジュールよりも、占有精度が向上するということである。メインのRGB-Dプロジェクション、奥行き枝、占有頭部を固定し、画像バックボーンのみを置き換える。比較エンコーダはCLIP-ResNet、CLIP-ViT、BLIP2、DINOv2である。 DINOv2 は 30.55 %、BLIP2 は 29.49 %、CLIP-ViT は 24.33 %、CLIP-ResNet は 17.41 % となる。より強力なエンコーダは、下流の3D融合パイプラインを変更することなく、オリジナルのEmbodiedScan ResNet-50ベースラインを超える。 DINOv2は多くのレイアウトと構造カテゴリで強いが、BLIP2はいくつかのオブジェクト中心クラスで近い。 CLIP-ViTはCLIP-ResNetよりも明確に改善されている。これらの結果から,画像のバックボーンは意味的占有の二次的な工学的詳細ではなく,最終3次元予測における大きな変化源であることが示唆された。

関連論文リスト

SIM-Net: A Multimodal Fusion Network Using Inferred 3D Object Shape Point Clouds from RGB Images for 2D Classification [0.5941919160409145]
Shape-Image Multimodal Network (SIM-Net)は、RGB画像から推定される3Dポイントクラウド表現を統合する新しい2D画像分類アーキテクチャである。 SIM-Net は ResNet101 を一貫して上回り、9.9% の精度、12.3% のFスコアを達成している。
論文参考訳（メタデータ） (2025-06-23T14:25:40Z)
NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-22T11:48:06Z)
End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization [34.89762410372218]
我々は,新しいエンドツーエンド2D-3D登録ネットワークであるI2PNetを提案する。 I2PNetは、2D RGB画像で生の3Dポイントクラウドを直接登録する。我々は、I2PNetをカメラ-LiDARオンラインキャリブレーションに適用し、I2PNetがオンラインキャリブレーションタスクにおける最近のアプローチよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-20T07:28:40Z)
RangeViT: Towards Vision Transformers for 3D Semantic Segmentation in Autonomous Driving [80.14669385741202]
視覚変換器(ViT)は多くの画像ベースのベンチマークで最先端の結果を得た。 ViTはトレーニングが難しいことで知られており、強力な表現を学ぶために大量のトレーニングデータを必要とする。提案手法はRangeViTと呼ばれ,nuScenes や Semantic KITTI において既存のプロジェクションベースの手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-01-24T18:50:48Z)
CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP [55.864132158596206]
Contrastive Language-Image Pre-Training (CLIP) は、2次元ゼロショットおよび少数ショット学習において有望な結果をもたらす。私たちは,CLIP知識が3Dシーン理解にどう役立つか,最初の試みを行う。筆者らは,CLIPの知識を2次元画像テキスト事前学習モデルから3次元ポイント・クラウド・ネットワークに転送するフレームワークであるCLIP2Sceneを提案する。
論文参考訳（メタデータ） (2023-01-12T10:42:39Z)
Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
論文参考訳（メタデータ） (2021-12-24T02:43:58Z)
PointCLIP: Point Cloud Understanding by CLIP [77.02399444893963]
本稿では,CLIP符号化点クラウドと3Dカテゴリテキストのアライメントを行うPointCLIPを提案する。 PointCLIPは、リソースコストとデータレシエーションの低いCLIPによる効果的な3Dポイントクラウド理解のための、有望な代替手段である。
論文参考訳（メタデータ） (2021-12-04T19:42:40Z)
FIDNet: LiDAR Point Cloud Semantic Segmentation with Fully Interpolation Decoding [5.599306291149907]
2次元球面領域画像上に点雲を投影すると、LiDARセマンティックセマンティックセマンティックセマンティクスがレンジ画像上の2次元セマンティクスタスクに変換される。本稿では,新しいネットワーク構造と効率的な後処理ステップからなる投影型LiDARセマンティックセマンティックセマンティクスパイプラインを提案する。我々のパイプラインは、40倍の2048$の解像度を持つプロジェクションベースのメソッドと、すべてのポイントワイズソリューションの中で、最高のパフォーマンスを実現しています。
論文参考訳（メタデータ） (2021-09-08T17:20:09Z)
End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。 PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
論文参考訳（メタデータ） (2020-04-07T02:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。