論文の概要: Structural Multiplane Image: Bridging Neural View Synthesis and 3D
Reconstruction
- arxiv url: http://arxiv.org/abs/2303.05937v1
- Date: Fri, 10 Mar 2023 14:18:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 14:54:19.207434
- Title: Structural Multiplane Image: Bridging Neural View Synthesis and 3D
Reconstruction
- Title(参考訳): 構造多面体画像:架橋ニューラルビュー合成と3次元再構成
- Authors: Mingfang Zhang, Jinglu Wang, Xiao Li, Yifei Huang, Yoichi Sato, Yan Lu
- Abstract要約: 平面構造が3次元シーンを簡潔に近似する構造的MPI(S-MPI)を導入する。
S-MPIを適用するという直感と要求にもかかわらず、RGBA層と平面の両方の高忠実度近似のような大きな課題が導入されている。
提案手法は,従来のMPIを用いたビュー合成法と平面再構成法より優れていた。
- 参考スコア(独自算出の注目度): 39.89856628467095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Multiplane Image (MPI), containing a set of fronto-parallel RGBA layers,
is an effective and efficient representation for view synthesis from sparse
inputs. Yet, its fixed structure limits the performance, especially for
surfaces imaged at oblique angles. We introduce the Structural MPI (S-MPI),
where the plane structure approximates 3D scenes concisely. Conveying RGBA
contexts with geometrically-faithful structures, the S-MPI directly bridges
view synthesis and 3D reconstruction. It can not only overcome the critical
limitations of MPI, i.e., discretization artifacts from sloped surfaces and
abuse of redundant layers, and can also acquire planar 3D reconstruction.
Despite the intuition and demand of applying S-MPI, great challenges are
introduced, e.g., high-fidelity approximation for both RGBA layers and plane
poses, multi-view consistency, non-planar regions modeling, and efficient
rendering with intersected planes. Accordingly, we propose a transformer-based
network based on a segmentation model. It predicts compact and expressive S-MPI
layers with their corresponding masks, poses, and RGBA contexts. Non-planar
regions are inclusively handled as a special case in our unified framework.
Multi-view consistency is ensured by sharing global proxy embeddings, which
encode plane-level features covering the complete 3D scenes with aligned
coordinates. Intensive experiments show that our method outperforms both
previous state-of-the-art MPI-based view synthesis methods and planar
reconstruction methods.
- Abstract(参考訳): 前面並列RGBA層を含む多面体画像(MPI)は、スパース入力からのビュー合成に効率的かつ効率的な表現である。
しかし、その固定構造は特に斜めの角度で撮影された表面において性能を制限している。
平面構造が3次元シーンを簡潔に近似する構造的MPI(S-MPI)を導入する。
RGBAコンテキストを幾何学的に忠実な構造とすることで、S-MPIは直接、合成と3D再構成を橋渡しする。
MPIの重要な限界、すなわち傾斜した表面からの離散化アーティファクトや冗長な層の乱用を克服するだけでなく、平面的な3D再構成も得る。
S-MPIを適用するという直感と要求にもかかわらず、RGBA層と平面ポーズの両方の高忠実度近似、多視点整合性、非平面領域モデリング、交差平面による効率的なレンダリングといった大きな課題が導入されている。
そこで本研究では,分割モデルに基づくトランスフォーマーベースネットワークを提案する。
コンパクトで表現力のあるS-MPI層を、対応するマスク、ポーズ、RGBAコンテキストで予測する。
非平面領域は、我々の統一フレームワークの特別なケースとして包括的に扱われる。
マルチビュー一貫性は、完全な3dシーンをカバーするプレーンレベルの機能をアラインされた座標でエンコードするグローバルプロキシ埋め込みを共有することで保証される。
集中的な実験により,従来のmpiベースのビュー合成法と平面再構成法を上回った。
関連論文リスト
- SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical
Refinement and EM optimization [6.886220026399106]
テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。
私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。
球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
論文 参考訳(メタデータ) (2024-01-12T05:25:57Z) - rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。
本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。
我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
論文 参考訳(メタデータ) (2023-10-11T04:05:11Z) - Tiled Multiplane Images for Practical 3D Photography [9.309697339467148]
マルチプレーン画像(MPI)は、シーンをRGBA層のスタックとして推定する。
神経放射場とは異なり、MPIはグラフィックハードウェア上で効率よくレンダリングできる。
本研究では,野生の単視点3D写真に適応的な深度平面を持つTMPIを生成する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T16:56:40Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳(メタデータ) (2023-06-28T22:36:44Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳(メタデータ) (2022-12-17T15:05:25Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳(メタデータ) (2022-05-05T17:59:55Z) - Multi-initialization Optimization Network for Accurate 3D Human Pose and
Shape Estimation [75.44912541912252]
我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。
第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。
第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。
最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
論文 参考訳(メタデータ) (2021-12-24T02:43:58Z) - Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文 参考訳(メタデータ) (2021-12-05T07:02:53Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳(メタデータ) (2021-11-08T05:29:35Z) - OctField: Hierarchical Implicit Functions for 3D Modeling [18.488778913029805]
我々は3次元曲面の学習可能な階層的暗黙表現であるOctoFieldを提案し、メモリと計算予算の少ない複雑な曲面の高精度符号化を可能にする。
この目的を達成するために、曲面占有率と部分幾何学の豊かさに応じて3次元空間を適応的に分割する階層的オクツリー構造を導入する。
論文 参考訳(メタデータ) (2021-11-01T16:29:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。