論文の概要: SinMPI: Novel View Synthesis from a Single Image with Expanded
Multiplane Images
- arxiv url: http://arxiv.org/abs/2312.11037v1
- Date: Mon, 18 Dec 2023 09:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 20:42:48.283523
- Title: SinMPI: Novel View Synthesis from a Single Image with Expanded
Multiplane Images
- Title(参考訳): SinMPI: 拡張多面体画像を用いた単一画像からの新たなビュー合成
- Authors: Guo Pu, Peng-Shuai Wang, Zhouhui Lian
- Abstract要約: 本稿では,拡張多面体画像(MPI)を3次元シーン表現として利用する新しい手法であるSinMPIを提案する。
我々の手法の鍵となる考え方は、ビュー外のコンテンツを生成するために、安定拡散を使用することである。
本手法の最先端性を検証するために,定性的および定量的な実験が実施されている。
- 参考スコア(独自算出の注目度): 22.902506592749816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-image novel view synthesis is a challenging and ongoing problem that
aims to generate an infinite number of consistent views from a single input
image. Although significant efforts have been made to advance the quality of
generated novel views, less attention has been paid to the expansion of the
underlying scene representation, which is crucial to the generation of
realistic novel view images. This paper proposes SinMPI, a novel method that
uses an expanded multiplane image (MPI) as the 3D scene representation to
significantly expand the perspective range of MPI and generate high-quality
novel views from a large multiplane space. The key idea of our method is to use
Stable Diffusion to generate out-of-view contents, project all scene contents
into an expanded multiplane image according to depths predicted by monocular
depth estimators, and then optimize the multiplane image under the supervision
of pseudo multi-view data generated by a depth-aware warping and inpainting
module. Both qualitative and quantitative experiments have been conducted to
validate the superiority of our method to the state of the art. Our code and
data are available at https://github.com/TrickyGo/SinMPI.
- Abstract(参考訳): シングルイメージの新規ビュー合成は、単一入力画像から無限の一貫性のあるビューを生成することを目的とした、困難かつ進行中の課題である。
生成した新規ビューの質を高めるために重要な努力がなされているが、現実的な新規ビュー画像の生成に欠かせないシーン表現の拡大にはあまり注意が払われていない。
本稿では,拡張多面体画像(MPI)を3次元シーン表現として用いて,MPIの視点範囲を大幅に拡大し,大規模な多面体空間から高品質な新規ビューを生成するSinMPIを提案する。
本手法の主な考え方は,立体深度推定器によって予測される深度に応じて,すべてのシーンコンテンツを拡張多面画像に投影し,深度対応のワープ・インペイントモジュールによって生成された擬似多面データの下で,多面画像の最適化を行うことである。
本手法の最先端性を検証するために,定性的および定量的な実験が実施されている。
私たちのコードとデータはhttps://github.com/TrickyGo/SinMPI.comで公開されています。
関連論文リスト
- Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [70.58988592832684]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T06:07:07Z) - MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane
Images Blending [61.45757368117578]
本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。
MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。
MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
論文 参考訳(メタデータ) (2023-09-30T04:36:43Z) - ReShader: View-Dependent Highlights for Single Image View-Synthesis [6.154533991191053]
本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。
再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。
そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
論文 参考訳(メタデータ) (2023-09-19T15:23:52Z) - SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation
for Novel View Synthesis from a Single Image [60.52991173059486]
単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。
提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
論文 参考訳(メタデータ) (2023-09-12T15:33:09Z) - Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。
本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。
合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-03T06:32:55Z) - DINER: Depth-aware Image-based NEural Radiance fields [45.63488428831042]
我々はDINER(Depth-aware Image-based NEural Radiance Field)を提案する。
RGB入力ビューの粗いセットが与えられた場合、シーン表現の再構築を導くために深度と特徴マップを予測する。
特徴融合と効率的なシーンサンプリングに深度情報を組み込む新しい手法を提案する。
論文 参考訳(メタデータ) (2022-11-29T23:22:44Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - Remote Sensing Novel View Synthesis with Implicit Multiplane
Representations [26.33490094119609]
暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。
リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。
任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
論文 参考訳(メタデータ) (2022-05-18T13:03:55Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳(メタデータ) (2021-05-01T14:32:13Z) - Single-View View Synthesis with Multiplane Images [64.46556656209769]
深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。
本手法は,単一画像入力から直接多面体画像を予測することを学習する。
さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
論文 参考訳(メタデータ) (2020-04-23T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。