Fugu-MT 論文翻訳(概要): UniPlane: Unified Plane Detection and Reconstruction from Posed Monocular Videos

論文の概要: UniPlane: Unified Plane Detection and Reconstruction from Posed Monocular Videos

arxiv url: http://arxiv.org/abs/2407.03594v1
Date: Thu, 4 Jul 2024 03:02:27 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 19:31:32.364323
Title: UniPlane: Unified Plane Detection and Reconstruction from Posed Monocular Videos
Title（参考訳）: UniPlane:モノクロビデオからの統一された平面検出と再構成
Authors: Yuzhong Huang, Chen Liu, Ji Hou, Ke Huo, Shiyu Dong, Fred Morstatter,
Abstract要約: 単眼ビデオから平面検出と再構成を統一する新しい手法であるUniPlaneを提案する。我々はトランスフォーマーベースのディープニューラルネットワークを構築し、環境のための3D機能ボリュームを共同で構築する。実世界のデータセットの実験では、UniPlaneは平面検出と再構成の両方において最先端の手法より優れていることが示されている。
参考スコア（独自算出の注目度）: 12.328095228008893
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present UniPlane, a novel method that unifies plane detection and reconstruction from posed monocular videos. Unlike existing methods that detect planes from local observations and associate them across the video for the final reconstruction, UniPlane unifies both the detection and the reconstruction tasks in a single network, which allows us to directly optimize final reconstruction quality and fully leverage temporal information. Specifically, we build a Transformers-based deep neural network that jointly constructs a 3D feature volume for the environment and estimates a set of per-plane embeddings as queries. UniPlane directly reconstructs the 3D planes by taking dot products between voxel embeddings and the plane embeddings followed by binary thresholding. Extensive experiments on real-world datasets demonstrate that UniPlane outperforms state-of-the-art methods in both plane detection and reconstruction tasks, achieving +4.6 in F-score in geometry as well as consistent improvements in other geometry and segmentation metrics.
Abstract（参考訳）: 単眼ビデオから平面検出と再構成を統一する新手法UniPlaneを提案する。局所的な観測から平面を検出する既存の手法とは異なり、UniPlaneは1つのネットワークにおける検出タスクと再構成タスクの両方を統一し、最終的な再構成品質を直接最適化し、時間情報を完全に活用する。具体的には、トランスフォーマーベースのディープニューラルネットワークを構築し、環境のための3次元特徴ボリュームを共同構築し、平面ごとの埋め込みをクエリとして推定する。 UniPlaneは、ボクセルの埋め込みと平面の埋め込みの間にドット積を取り、その後二分しきい値が続くことによって、直接3D平面を再構築する。実世界のデータセットに関する大規模な実験により、UniPlaneは平面検出と再構成の両方において最先端の手法より優れており、幾何学におけるFスコアの+4.6と他の幾何学とセグメンテーションのメトリクスの一貫性が向上していることが示された。

関連論文リスト

MonoPlane: Exploiting Monocular Geometric Cues for Generalizable 3D Plane Reconstruction [37.481945507799594]
本稿では,MonoPlaneという汎用的な3次元平面検出・再構成フレームワークを提案する。まず、大規模な事前学習ニューラルネットワークを用いて、1つの画像から深度と表面の正常値を得る。これらの特異な幾何学的手がかりを近接誘導RANSACフレームワークに組み込んで各平面インスタンスに順次適合させる。
論文参考訳（メタデータ） (2024-11-02T12:15:29Z)
Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
論文参考訳（メタデータ） (2024-07-26T06:29:09Z)
Learning Reconstructability for Drone Aerial Path Planning [51.736344549907265]
本研究では,無人ドローンを用いた大規模3次元都市景観獲得のためのビューとパスプランニングを改善するための,学習に基づく最初の再構成可能性予測器を提案する。従来の手法とは対照的に,本手法では,一組の視点から3次元都市景観をいかによく再構築するかを明示的に予測するモデルを学習する。
論文参考訳（メタデータ） (2022-09-21T08:10:26Z)
PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos [32.286637700503995]
PlanarReconは、提示されたモノクロビデオから3次元平面のグローバルなコヒーレントな検出と再構築のためのフレームワークである。学習ベースのトラッキングと融合モジュールは、以前のフラグメントから平面をマージして、コヒーレントなグローバルな平面再構成を形成するように設計されている。実験の結果,提案手法はリアルタイムでありながら,ScanNetデータセット上での最先端のパフォーマンスを実現することがわかった。
論文参考訳（メタデータ） (2022-06-15T17:59:16Z)
PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo [32.81496429134453]
カメラのポーズによる複数入力ビューからの3次元平面再構成のための新しいフレームワークPlainMVSを提案する。対照的に、マルチビュー幾何学を利用するマルチビューステレオ(MVS)パイプラインで3次元平面を再構成する。本手法は,学習面の先行性により,SOTA学習に基づくMVS手法よりも優れる。
論文参考訳（メタデータ） (2022-03-22T22:35:46Z)
PlaneRecNet: Multi-Task Learning with Cross-Task Consistency for Piece-Wise Plane Detection and Reconstruction from a Single RGB Image [11.215334675788952]
ピアースワイドな3次元平面再構成は、特に屋内シナリオにおいて、人為的な環境の全体像の理解を提供する。最新のアプローチは、高度なネットワークアーキテクチャを導入し、セグメンテーションと再構築結果の改善に重点を置いている。マルチタスク畳み込みニューラルネットワークであるPlaneRecNetのクロスタスク一貫性の強化から始まります。平面分割と深さ推定の精度を両立させる新しい損失関数(幾何学的制約)を導入する。
論文参考訳（メタデータ） (2021-10-21T15:54:03Z)
PlaneTR: Structure-Guided Transformers for 3D Plane Recovery [56.23402171871664]
平面TRは1つの画像から同時に平面を検出し、再構成する。 PlaneTRはScanNetとNYUv2データセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-07-27T23:55:40Z)
KAPLAN: A 3D Point Descriptor for Shape Completion [80.15764700137383]
KAPLANは、一連の2D畳み込みを通じて局所的な形状情報を集約する3Dポイント記述子である。各平面において、正規点や平面間距離のような点特性は2次元グリッドに集約され、効率的な2次元畳み込みエンコーダを持つ特徴表現に抽象化される。公開データセットの実験では、KAPLANが3D形状の完成のために最先端のパフォーマンスを達成することが示されている。
論文参考訳（メタデータ） (2020-07-31T21:56:08Z)
OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文参考訳（メタデータ） (2020-03-18T05:52:10Z)
From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized 3D Point Clouds [59.98665358527686]
直交平面の分割自由結合推定法を提案する。このような統合されたシーン探索は、セマンティックプレーンの検出や局所的およびグローバルなスキャンアライメントといった、多目的のアプリケーションを可能にする。本実験は,壁面検出から6次元トラッキングに至るまで,様々なシナリオにおいて,我々のアプローチの有効性を実証するものである。
論文参考訳（メタデータ） (2020-01-21T06:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。