論文の概要: Tiled Multiplane Images for Practical 3D Photography

• arxiv url: http://arxiv.org/abs/2309.14291v1
• Date: Mon, 25 Sep 2023 16:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 14:42:10.564737
• Title: Tiled Multiplane Images for Practical 3D Photography
• Title（参考訳）: 実写3D撮影のためのタイル付き多面体画像
• Authors: Numair Khan, Douglas Lanman, Lei Xiao
• Abstract要約: マルチプレーン画像(MPI)は、シーンをRGBA層のスタックとして推定する。 神経放射場とは異なり、MPIはグラフィックハードウェア上で効率よくレンダリングできる。 本研究では,野生の単視点3D写真に適応的な深度平面を持つTMPIを生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 9.309697339467148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of synthesizing novel views from a single image has useful applications in virtual reality and mobile computing, and a number of approaches to the problem have been proposed in recent years. A Multiplane Image (MPI) estimates the scene as a stack of RGBA layers, and can model complex appearance effects, anti-alias depth errors and synthesize soft edges better than methods that use textured meshes or layered depth images. And unlike neural radiance fields, an MPI can be efficiently rendered on graphics hardware. However, MPIs are highly redundant and require a large number of depth layers to achieve plausible results. Based on the observation that the depth complexity in local image regions is lower than that over the entire image, we split an MPI into many small, tiled regions, each with only a few depth planes. We call this representation a Tiled Multiplane Image (TMPI). We propose a method for generating a TMPI with adaptive depth planes for single-view 3D photography in the wild. Our synthesized results are comparable to state-of-the-art single-view MPI methods while having lower computational overhead.
• Abstract（参考訳）: 単一の画像から新しいビューを合成するタスクは、仮想現実やモバイルコンピューティングに有用な応用であり、近年、この問題に対する多くのアプローチが提案されている。 マルチプレーン画像(mpi)は、シーンをrgba層のスタックと推定し、複雑な外観効果、アンチエイリアス深度誤差をモデル化し、テクスチャメッシュまたはレイヤー深度画像を使用する方法よりもソフトエッジを合成することができる。 神経放射場とは異なり、MPIはグラフィックハードウェア上で効率的にレンダリングできる。 しかし、MPIは非常に冗長であり、妥当な結果を得るためには多くの深さ層を必要とする。 局所的な画像領域の深さの複雑さは画像全体よりも低いという観測に基づいて、mpiを小さなタイルの領域に分割し、それぞれにわずかな深さ平面しか持たない。 この表現を、TMPI (Tiled Multiplane Image) と呼ぶ。 本研究では,野生の単視点3D写真に適応的な深度平面を持つTMPIを生成する手法を提案する。 我々の合成結果は、計算オーバーヘッドを低くしながら、最先端のシングルビューMPI手法に匹敵する。

関連論文リスト

• CUBE360: Learning Cubic Field Representation for Monocular 360 Depth Estimation for Virtual Reality [32.023283261191104]
  CUBE360は、1つのパノラマ画像から複数のMPIからなる立方体場を学習し、任意の視野方向の深さ推定を行う。 合成と実世界の両方のデータセットの実験は、従来のSSL方式と比較してCUBE360の優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T06:52:46Z)
• MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending [61.45757368117578]
  本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。 MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。 MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
  論文  参考訳（メタデータ） (2023-09-30T04:36:43Z)
• Structural Multiplane Image: Bridging Neural View Synthesis and 3D Reconstruction [39.89856628467095]
  平面構造が3次元シーンを簡潔に近似する構造的MPI(S-MPI)を導入する。 S-MPIを適用するという直感と要求にもかかわらず、RGBA層と平面の両方の高忠実度近似のような大きな課題が導入されている。 提案手法は,従来のMPIを用いたビュー合成法と平面再構成法より優れていた。
  論文  参考訳（メタデータ） (2023-03-10T14:18:40Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images [15.614631883233898]
  既存の手法では, 単分子深度推定と層状深度表現による色塗布による有望な結果が示されている。 マルチプレーン画像(MPI)表現に基づく新しい手法を提案する。 合成データと実データの両方の実験により、我々のトレーニングされたモデルは驚くほどうまく機能し、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-05-24T02:57:16Z)
• Remote Sensing Novel View Synthesis with Implicit Multiplane Representations [26.33490094119609]
  暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。 リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。 任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-05-18T13:03:55Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
  本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。 MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
  論文  参考訳（メタデータ） (2020-08-04T20:29:15Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。