論文の概要: MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending

• arxiv url: http://arxiv.org/abs/2310.00249v1
• Date: Sat, 30 Sep 2023 04:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:30:39.481843
• Title: MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending
• Title（参考訳）: MMPI:多重平面画像ブレンディングによるフレキシブル放射場表現
• Authors: Yuze He, Peng Wang, Yubin Hu, Wang Zhao, Ran Yi, Yong-Jin Liu, Wenping Wang
• Abstract要約: 本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。 MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。 MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
• 参考スコア（独自算出の注目度）: 61.45757368117578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a flexible representation of neural radiance fields based on multi-plane images (MPI), for high-quality view synthesis of complex scenes. MPI with Normalized Device Coordinate (NDC) parameterization is widely used in NeRF learning for its simple definition, easy calculation, and powerful ability to represent unbounded scenes. However, existing NeRF works that adopt MPI representation for novel view synthesis can only handle simple forward-facing unbounded scenes, where the input cameras are all observing in similar directions with small relative translations. Hence, extending these MPI-based methods to more complex scenes like large-range or even 360-degree scenes is very challenging. In this paper, we explore the potential of MPI and show that MPI can synthesize high-quality novel views of complex scenes with diverse camera distributions and view directions, which are not only limited to simple forward-facing scenes. Our key idea is to encode the neural radiance field with multiple MPIs facing different directions and blend them with an adaptive blending operation. For each region of the scene, the blending operation gives larger blending weights to those advantaged MPIs with stronger local representation abilities while giving lower weights to those with weaker representation abilities. Such blending operation automatically modulates the multiple MPIs to appropriately represent the diverse local density and color information. Experiments on the KITTI dataset and ScanNet dataset demonstrate that our proposed MMPI synthesizes high-quality images from diverse camera pose distributions and is fast to train, outperforming the previous fast-training NeRF methods for novel view synthesis. Moreover, we show that MMPI can encode extremely long trajectories and produce novel view renderings, demonstrating its potential in applications like autonomous driving.
• Abstract（参考訳）: 本稿では,多面体画像(MPI)に基づく,複雑なシーンの高画質なビュー合成のためのフレキシブルな神経放射場表現を提案する。 正規化デバイスコーディネート(NDC)パラメータ化を用いたMPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く利用されている。 しかし、新しいビュー合成のためにMPI表現を採用した既存のNeRFは、入力カメラが全て同じ方向を小さな相対変換で観察している単純な前方非有界シーンしか処理できない。 したがって、これらのMPIベースの手法を、広い範囲や360度のシーンのようなより複雑なシーンに拡張することは非常に困難である。 本稿では,MPIの可能性を探求し,MPIが複雑なシーンの高品質な新規ビューを多種多様なカメラ分布とビュー方向で合成できることを示し,これは単純な前方シーンに限らない。 我々のキーとなる考え方は、複数のMPIが異なる方向を向いている神経放射界を符号化し、それらを適応的なブレンディング操作でブレンドすることである。 シーンの各領域において、ブレンディング操作は、有利なmpisに対してより強い局所表現能力を持つ混合重みを与え、より弱い表現能力を持つものには低い重みを与える。 このようなブレンディング操作は、複数のMPIを自動的に変調し、多様な局所密度と色情報を適切に表現する。 kittiデータセットとscannetデータセットを用いた実験により,提案するmmpiは,様々なカメラポーズ分布から高品質な画像を合成し,トレーニングが高速であることを示す。 さらに、MMPIは、非常に長い軌跡を符号化し、新しいビューレンダリングを生成できることを示し、自動運転のようなアプリケーションにおけるその可能性を示す。

関連論文リスト

• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
  本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。 本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。 我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
  論文  参考訳（メタデータ） (2023-10-11T04:05:11Z)
• Tiled Multiplane Images for Practical 3D Photography [9.309697339467148]
  マルチプレーン画像(MPI)は、シーンをRGBA層のスタックとして推定する。 神経放射場とは異なり、MPIはグラフィックハードウェア上で効率よくレンダリングできる。 本研究では,野生の単視点3D写真に適応的な深度平面を持つTMPIを生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T16:56:40Z)
• SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image [60.52991173059486]
  単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。 提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-12T15:33:09Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Real-Time Neural Character Rendering with Pose-Guided Multiplane Images [75.62730144924566]
  リアルなシーンでアニマタブルなキャラクタをフォトリアリスティックな画質でレンダリングできるポーズ誘導多面体画像(MPI)合成を提案する。 我々は、移動物体の駆動信号とともに多視点画像をキャプチャするために、ポータブルカメラリグを使用します。
  論文  参考訳（メタデータ） (2022-04-25T17:51:38Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Learning light field synthesis with Multi-Plane Images: scene encoding as a recurrent segmentation task [30.058283056074426]
  本稿では、入力ビューのスパースセットを多面画像(MPI)に変換することで、大規模なベースライン光場からのビュー合成の問題に対処する。 利用可能なデータセットは少ないため、広範なトレーニングを必要としない軽量ネットワークを提案する。 我々のモデルは、RGB層を推定することを学ぶのではなく、MPIアルファ層内のシーン幾何学を符号化するだけであり、それはセグメンテーションタスクに帰着する。
  論文  参考訳（メタデータ） (2020-02-12T14:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。