論文の概要: Multi-task Planar Reconstruction with Feature Warping Guidance
- arxiv url: http://arxiv.org/abs/2311.14981v2
- Date: Thu, 21 Dec 2023 16:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 18:00:20.974450
- Title: Multi-task Planar Reconstruction with Feature Warping Guidance
- Title(参考訳): 特徴ゆがみ指導によるマルチタスク平面再構成
- Authors: Luan Wei, Anna Hilsmann and Peter Eisert
- Abstract要約: ピースワイドな平面3D再構成は、同時に平面インスタンスを分割し、画像からそれらの平面パラメータを復元する。
本稿では,修正インスタンスセグメンテーションアーキテクチャに基づくリアルタイム平面再構成モデルであるSOLOPlanesを紹介する。
本モデルでは,43FPSでリアルタイムな予測を行いながら,単一画像の推測時にセマンティクスを同時に予測する。
- 参考スコア(独自算出の注目度): 3.95944314850151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Piece-wise planar 3D reconstruction simultaneously segments plane instances
and recovers their 3D plane parameters from an image, which is particularly
useful for indoor or man-made environments. Efficient reconstruction of 3D
planes coupled with semantic predictions offers advantages for a wide range of
applications requiring scene understanding and concurrent spatial mapping.
However, most existing planar reconstruction models either neglect semantic
predictions or do not run efficiently enough for real-time applications. We
introduce SOLOPlanes, a real-time planar reconstruction model based on a
modified instance segmentation architecture which simultaneously predicts
semantics for each plane instance, along with plane parameters and piece-wise
plane instance masks. We achieve an improvement in instance mask segmentation
by including multi-view guidance for plane predictions in the training process.
This cross-task improvement, training for plane prediction but improving the
mask segmentation, is due to the nature of feature sharing in multi-task
learning. Our model simultaneously predicts semantics using single images at
inference time, while achieving real-time predictions at 43 FPS.
- Abstract(参考訳): ピアースワイドな平面3D再構成は、平面のインスタンスを同時に分割し、画像からそれらの3D平面パラメータを復元する。
3次元平面の効率的な再構成と意味予測は、シーン理解と同時空間マッピングを必要とする幅広いアプリケーションに有利である。
しかし、ほとんどの既存の平面再構成モデルは意味論的予測を無視するか、リアルタイムアプリケーションで十分に効率的に動作しない。
修正されたインスタンスセグメンテーションアーキテクチャをベースとしたリアルタイム平面再構成モデルであるSOLOPlanesを導入し,各プレーンインスタンスのセマンティクスを同時に予測する。
トレーニングプロセスにおいて,平面予測のためのマルチビューガイダンスを組み込むことにより,インスタンスマスクのセグメンテーションを改善する。
このクロスタスクの改善、平面予測のためのトレーニング、マスクセグメンテーションの改善は、マルチタスク学習における機能共有の性質によるものだ。
本モデルでは,43FPSでリアルタイムな予測を行いながら,単一画像の推測時にセマンティクスを同時に予測する。
関連論文リスト
- 360 Layout Estimation via Orthogonal Planes Disentanglement and
Multi-view Geometric Consistency Perception [60.23832277827669]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元する傾向がある。
水平深度と比表現に適した教師なし適応手法を提案する。
また,決定レベルのレイアウト解析のための最適化手法と,特徴レベルのマルチビューアグリゲーションのための1次元コストボリューム構築手法も導入する。
論文 参考訳(メタデータ) (2023-12-26T12:16:03Z) - OccNeRF: Self-Supervised Multi-Camera Occupancy Prediction with Neural
Radiance Fields [80.35807140179736]
自己監督型マルチカメラ占有率予測のためのOccNeRF法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成する。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z) - PlaneRecTR: Unified Query Learning for 3D Plane Recovery from a Single
View [12.343189317320004]
PlaneRecTRはTransformerベースのアーキテクチャで、単一のコンパクトモデルで単一のビュープレーンリカバリに関連するすべてのサブタスクを統合する。
提案した統合学習はサブタスク間の相互利益を達成し,パブリックScanNetとNYUv2-Planeデータセット上での最先端のパフォーマンスを得る。
論文 参考訳(メタデータ) (2023-07-25T18:28:19Z) - Self-supervised Pre-training with Masked Shape Prediction for 3D Scene
Understanding [106.0876425365599]
Masked Shape Prediction (MSP)は、3Dシーンでマスクされた信号モデリングを行うための新しいフレームワークである。
MSPは3Dセマンティックキュー、すなわち幾何学的形状をマスクされた点の予測ターゲットとして使用する。
論文 参考訳(メタデータ) (2023-05-08T20:09:19Z) - Occupancy Planes for Single-view RGB-D Human Reconstruction [120.5818162569105]
暗黙的な機能を持つシングルビューRGB-Dヒト再構成は、しばしばポイント単位の分類として定式化される。
本稿では,カメラの視野フラストラムをスライスする平面上での占有率予測として,一視点のRGB-D人間の再構成を定式化できる占有面(OPlanes)表現を提案する。
論文 参考訳(メタデータ) (2022-08-04T17:59:56Z) - PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed
Monocular Videos [32.286637700503995]
PlanarReconは、提示されたモノクロビデオから3次元平面のグローバルなコヒーレントな検出と再構築のためのフレームワークである。
学習ベースのトラッキングと融合モジュールは、以前のフラグメントから平面をマージして、コヒーレントなグローバルな平面再構成を形成するように設計されている。
実験の結果,提案手法はリアルタイムでありながら,ScanNetデータセット上での最先端のパフォーマンスを実現することがわかった。
論文 参考訳(メタデータ) (2022-06-15T17:59:16Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳(メタデータ) (2022-05-05T17:59:55Z) - PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo [28.60063087665526]
カメラのポーズによる複数入力ビューからの3次元平面再構成のための新しいフレームワークPlainMVSを提案する。
対照的に、マルチビュー幾何学を利用するマルチビューステレオ(MVS)パイプラインで3次元平面を再構成する。
本手法は,学習面の先行性により,SOTA学習に基づくMVS手法よりも優れる。
論文 参考訳(メタデータ) (2022-03-22T22:35:46Z) - PlaneRecNet: Multi-Task Learning with Cross-Task Consistency for
Piece-Wise Plane Detection and Reconstruction from a Single RGB Image [11.215334675788952]
ピアースワイドな3次元平面再構成は、特に屋内シナリオにおいて、人為的な環境の全体像の理解を提供する。
最新のアプローチは、高度なネットワークアーキテクチャを導入し、セグメンテーションと再構築結果の改善に重点を置いている。
マルチタスク畳み込みニューラルネットワークであるPlaneRecNetのクロスタスク一貫性の強化から始まります。
平面分割と深さ推定の精度を両立させる新しい損失関数(幾何学的制約)を導入する。
論文 参考訳(メタデータ) (2021-10-21T15:54:03Z) - Dynamic Plane Convolutional Occupancy Networks [4.607145155913717]
本研究では,3次元表面再構成の精度を高めるために,動的平面畳み込み機能ネットワークを提案する。
完全に接続されたネットワークは、オブジェクトやシーンの形状を最もよく記述する平面パラメータを予測することを学ぶ。
提案手法は,ShapeNetの無向点雲と屋内シーンデータセットからの表面再構成において,優れた性能を示す。
論文 参考訳(メタデータ) (2020-11-11T14:24:52Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳(メタデータ) (2020-10-26T15:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。