Fugu-MT 論文翻訳(概要): FAWN: Floor-And-Walls Normal Regularization for Direct Neural TSDF Reconstruction

論文の概要: FAWN: Floor-And-Walls Normal Regularization for Direct Neural TSDF Reconstruction

arxiv url: http://arxiv.org/abs/2406.12054v1
Date: Mon, 17 Jun 2024 19:46:49 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 23:57:20.017763
Title: FAWN: Floor-And-Walls Normal Regularization for Direct Neural TSDF Reconstruction
Title（参考訳）: FAWN:Floor-and-walls normal regularization for direct Neural TSDF Reconstruction
Authors: Anna Sokolova, Anna Vorontsova, Bulat Gabdullin, Alexander Limonov,
Abstract要約: 本稿では,TSDF (truncated signed distance function) の再構成法であるFAWNを提案する。 FAWNは、シーン内の壁や床を検知し、水平方向と垂直方向を逸脱するための対応する表面正規をペナルティ化することにより、シーン構造を考察する。 FAWNを修飾した手法は,既存の意味に基づく手法よりも,意味論を効果的に活用することが実証された。
参考スコア（独自算出の注目度）: 43.98185260891083
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Leveraging 3D semantics for direct 3D reconstruction has a great potential yet unleashed. For instance, by assuming that walls are vertical, and a floor is planar and horizontal, we can correct distorted room shapes and eliminate local artifacts such as holes, pits, and hills. In this paper, we propose FAWN, a modification of truncated signed distance function (TSDF) reconstruction methods, which considers scene structure by detecting walls and floor in a scene, and penalizing the corresponding surface normals for deviating from the horizontal and vertical directions. Implemented as a 3D sparse convolutional module, FAWN can be incorporated into any trainable pipeline that predicts TSDF. Since FAWN requires 3D semantics only for training, no additional limitations on further use are imposed. We demonstrate, that FAWN-modified methods use semantics more effectively, than existing semantic-based approaches. Besides, we apply our modification to state-of-the-art TSDF reconstruction methods, and demonstrate a quality gain in SCANNET, ICL-NUIM, TUM RGB-D, and 7SCENES benchmarks.
Abstract（参考訳）: 直接3D再構成のための3Dセマンティクスを活用することは、大きな可能性を秘めている。例えば、壁が垂直で、床が平面で水平であると仮定することで、歪んだ部屋の形を補正し、穴、穴、丘などの局所的な遺物を取り除くことができる。本稿では,シーン内の壁や床を検知してシーン構造を考察し,水平方向と垂直方向を逸脱するための対応する表面正規化をペナルライズする,TSDF (truncated signed distance function) 再構成手法であるFAWNを提案する。 3Dスパース畳み込みモジュールとして実装されたFAWNは、TSDFを予測するトレーニング可能なパイプラインに組み込むことができる。 FAWNはトレーニングのためにのみ3Dセマンティクスを必要とするため、さらなる使用に関する追加の制限は課されない。 FAWNを修飾した手法は,既存の意味に基づく手法よりも,意味論を効果的に活用することが実証された。また,最新のTSDF再構成手法に適用し,SCANNET, ICL-NUIM, TUM RGB-D, 7SCENESベンチマークの品質向上を示す。

関連論文リスト

Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
論文参考訳（メタデータ） (2024-06-26T16:01:10Z)
ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文参考訳（メタデータ） (2023-11-29T20:30:18Z)
Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps [1.6462601662291156]
そこで本研究では,2次元正規地図を用いた布地人の3次元再構築のための新しい深層学習手法を提案する。一つのRGB画像またはマルチビュー画像から、我々のネットワークは、静止ポーズで体を囲む四面体メッシュ上で識別された符号付き距離関数(SDF)を推定する。ネットワーク推論と3次元再構成の両方に対するアプローチの有効性を実証する。
論文参考訳（メタデータ） (2023-11-27T18:06:35Z)
Unsupervised Style-based Explicit 3D Face Reconstruction from Single Image [10.1205208477163]
本研究では,Unsupervised 2D to Explicit 3D Style Transferを解くための一般的な逆学習フレームワークを提案する。具体的には、Wuらによる教師なし明示的な3D再構成ネットワークと、StarGAN-v2というジェネレーティブ・アドバイザリ・ネットワーク(GAN)の2つのアーキテクチャを統合する。提案手法は,DepthNetを3次元再構成で,Pix2NeRFを条件付き転送で,よく確立されたソリューションよりも優れていることを示す。
論文参考訳（メタデータ） (2023-04-24T21:25:06Z)
FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction [13.157400338544177]
ポーズ画像からの3次元再構成に関する最近の研究は、深層ニューラルネットワークを用いてシーンレベルの3次元幾何を直接推定できることを実証している。推論に基づく3次元再構成の忠実度を改善するための有効な3つの方法を提案する。提案手法はスムーズかつ高精度な再構成を行い,多深度および3次元再構成の指標において顕著な改善が見られた。
論文参考訳（メタデータ） (2023-04-04T02:50:29Z)
NeuDA: Neural Deformable Anchor for High-Fidelity Implicit Surface Reconstruction [11.637069058198867]
本報告では, 異種線キャストを利用した表面の暗黙的再構成について検討する。階層的なボクセル格子,すなわちニューラルデフォルマブルアンカー(NeuDA)を利用したフレキシブルなニューラル暗黙表現を提案する。 DTUとBlendedMVSのデータセットの実験は、NeuDAが有望なメッシュサーフェスを生成できることを実証している。
論文参考訳（メタデータ） (2023-03-04T10:38:41Z)
Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文参考訳（メタデータ） (2022-12-17T15:05:25Z)
SHINE-Mapping: Large-Scale 3D Mapping Using Sparse Hierarchical Implicit Neural Representations [37.733802382489515]
本稿では, 3次元LiDAR計測を用いて, 暗示表現を用いた大規模3次元再構成を実現する際の課題について述べる。我々はオクツリーに基づく階層構造を通じて暗黙的な特徴を学習し、保存する。我々の3D再構成は、現在の最先端3Dマッピング法よりも正確で、完全で、メモリ効率が高いことを示す。
論文参考訳（メタデータ） (2022-10-05T14:38:49Z)
Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
論文参考訳（メタデータ） (2022-07-20T17:47:22Z)
Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文参考訳（メタデータ） (2022-05-05T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。