論文の概要: SinMPI: Novel View Synthesis from a Single Image with Expanded
Multiplane Images
- arxiv url: http://arxiv.org/abs/2312.11037v1
- Date: Mon, 18 Dec 2023 09:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 20:42:48.283523
- Title: SinMPI: Novel View Synthesis from a Single Image with Expanded
Multiplane Images
- Title（参考訳）: SinMPI: 拡張多面体画像を用いた単一画像からの新たなビュー合成
- Authors: Guo Pu, Peng-Shuai Wang, Zhouhui Lian
- Abstract要約: 本稿では,拡張多面体画像(MPI)を3次元シーン表現として利用する新しい手法であるSinMPIを提案する。
我々の手法の鍵となる考え方は、ビュー外のコンテンツを生成するために、安定拡散を使用することである。
本手法の最先端性を検証するために,定性的および定量的な実験が実施されている。
- 参考スコア（独自算出の注目度）: 22.902506592749816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-image novel view synthesis is a challenging and ongoing problem that
aims to generate an infinite number of consistent views from a single input
image. Although significant efforts have been made to advance the quality of
generated novel views, less attention has been paid to the expansion of the
underlying scene representation, which is crucial to the generation of
realistic novel view images. This paper proposes SinMPI, a novel method that
uses an expanded multiplane image (MPI) as the 3D scene representation to
significantly expand the perspective range of MPI and generate high-quality
novel views from a large multiplane space. The key idea of our method is to use
Stable Diffusion to generate out-of-view contents, project all scene contents
into an expanded multiplane image according to depths predicted by monocular
depth estimators, and then optimize the multiplane image under the supervision
of pseudo multi-view data generated by a depth-aware warping and inpainting
module. Both qualitative and quantitative experiments have been conducted to
validate the superiority of our method to the state of the art. Our code and
data are available at https://github.com/TrickyGo/SinMPI.
- Abstract（参考訳）: シングルイメージの新規ビュー合成は、単一入力画像から無限の一貫性のあるビューを生成することを目的とした、困難かつ進行中の課題である。
生成した新規ビューの質を高めるために重要な努力がなされているが、現実的な新規ビュー画像の生成に欠かせないシーン表現の拡大にはあまり注意が払われていない。
本稿では,拡張多面体画像(MPI)を3次元シーン表現として用いて,MPIの視点範囲を大幅に拡大し,大規模な多面体空間から高品質な新規ビューを生成するSinMPIを提案する。
本手法の主な考え方は,立体深度推定器によって予測される深度に応じて,すべてのシーンコンテンツを拡張多面画像に投影し,深度対応のワープ・インペイントモジュールによって生成された擬似多面データの下で,多面画像の最適化を行うことである。
本手法の最先端性を検証するために,定性的および定量的な実験が実施されている。
私たちのコードとデータはhttps://github.com/TrickyGo/SinMPI.comで公開されています。
関連論文リスト
- ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。
提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文 参考訳（メタデータ） (2024-09-03T16:53:19Z) - Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳（メタデータ） (2024-08-26T04:56:41Z) - MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。
以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-26T17:53:51Z) - ReShader: View-Dependent Highlights for Single Image View-Synthesis [5.736642774848791]
本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。
再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。
そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
論文 参考訳（メタデータ） (2023-09-19T15:23:52Z) - SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation
for Novel View Synthesis from a Single Image [60.52991173059486]
単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。
提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
論文 参考訳（メタデータ） (2023-09-12T15:33:09Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Remote Sensing Novel View Synthesis with Implicit Multiplane
Representations [26.33490094119609]
暗黙的ニューラル表現の最近の進歩を活用して,新しいリモートセンシングビュー合成法を提案する。
リモートセンシング画像のオーバーヘッドと遠距離イメージングを考慮し,暗黙のマルチプレーン画像(MPI)表現とディープニューラルネットワークを組み合わせることで,3次元空間を表現する。
任意の新規ビューの画像は、再構成されたモデルに基づいて自由にレンダリングすることができる。
論文 参考訳（メタデータ） (2022-05-18T13:03:55Z) - Single-View View Synthesis with Multiplane Images [64.46556656209769]
深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。
本手法は,単一画像入力から直接多面体画像を予測することを学習する。
さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
論文 参考訳（メタデータ） (2020-04-23T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。