論文の概要: Pano3D: Unified 3D Reconstruction and Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2606.14307v1
• Date: Fri, 12 Jun 2026 09:43:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.857939
• Title: Pano3D: Unified 3D Reconstruction and Panoptic Segmentation
• Title（参考訳）: Pano3D:統一された3D再構成とパノプティカルセグメンテーション
• Authors: Victor Barberteguy, Ahmet Iscen, Mathilde Caron, Alireza Fathi, Gül Varol, Cordelia Schmid,
• Abstract要約: 統合されたフレームワークで3次元再構成と3次元パノプティクスのセグメンテーションを行う手法を提案する。 既存の3次元再構成モデルを構築し,それをマスクデコーダで拡張する。 提案手法は,ScanNet,ScanNet200,ScanNet++データセット間の3次元パノプティクスセグメンテーションにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 68.18993232814061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in 3D feedforward reconstruction neural networks have achieved remarkable success in dense reconstruction from images without any camera parameters. Yet, equipping these models with robust semantic understanding remains an open problem. Here we introduce an approach that performs 3D reconstruction and 3D panoptic segmentation in a unified framework. We build on existing 3D reconstruction models and augment them with a set-based mask decoder. The approach is jointly trained with a geometric and semantic loss, which are shown to be mutually beneficial. More precisely, the features are initialized from the geometric information and then finetuned to capture jointly geometry and semantics. We demonstrate the generality of our approach by successfully applying our framework both to online and all-to-all attention reconstruction backbones. Our method achieves state-of-the-art performance in 3D panoptic segmentation across ScanNet, ScanNet200, and ScanNet++ datasets. Ablation studies show that such joint training of a unified model equips 3D feedforward reconstruction neural networks with panoptic segmentation and yields mutually beneficial improvements.
• Abstract（参考訳）: 近年の3次元フィードフォワード再構成ニューラルネットワークの進歩は、カメラパラメータを含まない画像からの高密度再構成において顕著な成功を収めている。 しかし、これらのモデルに堅牢な意味理解を持たせることは、依然として未解決の問題である。 本稿では,3次元再構成と3次元パノプティックセグメンテーションを統一的な枠組みで実現するためのアプローチを提案する。 既存の3次元再構成モデルを構築し,それをマスクデコーダで拡張する。 この手法は幾何学的および意味的な損失で共同で訓練され、相互に有益であることが示されている。 より正確には、これらの特徴は幾何学的情報から初期化され、次に微調整され、共同幾何学と意味論をキャプチャする。 我々は、我々のフレームワークをオンラインとオール・ツー・アテンションのバックボーンの両方に適用することで、我々のアプローチの汎用性を実証する。 提案手法は,ScanNet,ScanNet200,ScanNet++データセット間の3次元パノプティクスセグメンテーションにおける最先端性能を実現する。 アブレーション研究により, 統合モデルによる協調トレーニングは, パン光学的セグメンテーションによる3次元フィードフォワード再構成ニューラルネットワークを装備し, 相互に有益な改善をもたらすことが示された。

関連論文リスト

• AREA3D: Active Reconstruction Agent with Unified Feed-Forward 3D Perception and Vision-Language Guidance [36.125573065910594]
  アクティブな3D再構成により、エージェントは視点を自律的に選択し、正確で完全なシーン形状を得ることができる。 本研究では,フィードフォワード3次元再構成モデルと視覚言語指導を利用したアクティブリコンストラクションエージェントAREA3Dを提案する。 本フレームワークは、フィードフォワード再構成器からビュー不確実性モデリングを分離し、高価なオンライン最適化を伴わずに正確な不確実性推定を可能にする。
  論文  参考訳（メタデータ） (2025-11-28T06:17:02Z)
• EA3D: Online Open-World 3D Object Extraction from Streaming Videos [55.48835711373918]
  オープンワールド3Dオブジェクト抽出のための統合オンラインフレームワークであるExtractAnything3D(EA3D)を提案する。 ストリーミングビデオが与えられると、EA3Dは視覚言語と2D視覚基盤エンコーダを使用して各フレームを動的に解釈し、オブジェクトレベルの知識を抽出する。 リカレントな共同最適化モジュールは、モデルの関心領域への注意を向け、幾何学的再構成と意味的理解の両面を同時に強化する。
  論文  参考訳（メタデータ） (2025-10-29T03:56:41Z)
• MUSt3R: Multi-view Network for Stereo 3D Reconstruction [11.61182864709518]
  本稿では,DUSt3Rのペアから複数のビューへの拡張を提案する。 計算複雑性を低減できる多層メモリ機構でモデルを拡張します。 このフレームワークは、オフラインとオンラインの両方で3D再構成を実行するように設計されているため、SfMとビジュアルSLAMシナリオにシームレスに適用できる。
  論文  参考訳（メタデータ） (2025-03-03T15:36:07Z)
• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• STD-Net: Structure-preserving and Topology-adaptive Deformation Network for 3D Reconstruction from a Single Image [27.885717341244014]
  単一のビューイメージからの3D再構成は、コンピュータビジョンにおける長年の進歩である。 本稿では,メッシュ表現を用いた3次元モデル再構築のためのSTD-Netを提案する。 ShapeNetの画像による実験結果から, 提案したSTD-Netは, 3Dオブジェクトを再構成する他の最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-03-07T11:02:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。