論文の概要: Neural Pixel Composition: 3D-4D View Synthesis from Multi-Views
- arxiv url: http://arxiv.org/abs/2207.10663v1
- Date: Thu, 21 Jul 2022 17:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 13:36:52.720303
- Title: Neural Pixel Composition: 3D-4D View Synthesis from Multi-Views
- Title（参考訳）: ニューラルピクセル合成:マルチビューからの3d-4dビュー合成
- Authors: Aayush Bansal and Michael Zollhoefer
- Abstract要約: 離散的な多視点観察のみを入力とする連続3D-4Dビュー合成のための新しい手法を提案する。
提案した定式化はスパースおよびワイドベースラインのマルチビュー画像に対して確実に動作する。
ハイレゾ(12MP)コンテンツに対して、数秒から10分以内に効率的にトレーニングすることができる。
- 参考スコア（独自算出の注目度）: 12.386462516398469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Neural Pixel Composition (NPC), a novel approach for continuous
3D-4D view synthesis given only a discrete set of multi-view observations as
input. Existing state-of-the-art approaches require dense multi-view
supervision and an extensive computational budget. The proposed formulation
reliably operates on sparse and wide-baseline multi-view imagery and can be
trained efficiently within a few seconds to 10 minutes for hi-res (12MP)
content, i.e., 200-400X faster convergence than existing methods. Crucial to
our approach are two core novelties: 1) a representation of a pixel that
contains color and depth information accumulated from multi-views for a
particular location and time along a line of sight, and 2) a multi-layer
perceptron (MLP) that enables the composition of this rich information provided
for a pixel location to obtain the final color output. We experiment with a
large variety of multi-view sequences, compare to existing approaches, and
achieve better results in diverse and challenging settings. Finally, our
approach enables dense 3D reconstruction from sparse multi-views, where COLMAP,
a state-of-the-art 3D reconstruction approach, struggles.
- Abstract（参考訳）: 本稿では,連続3D-4Dビュー合成のための新しいアプローチであるニューラル・ピクセル・コンポジション(NPC)について述べる。
既存の最先端のアプローチでは、密集した多視点の監視と広範な計算予算が必要である。
提案する定式化はスパースおよびワイドベースマルチビュー画像に対して確実に動作し,ハイレゾ (12mp) コンテンツに対して数秒から10分以内,すなわち既存の手法よりも200～400倍高速にコンバージェンスを行うことができる。
私たちのアプローチに不可欠なのは2つのコアノベルティです。
1) 視線に沿った特定の位置及び時刻の多視点から蓄積された色及び深度情報を含む画素の表示
2)画素位置用のリッチな情報を合成して最終色出力を得ることができる多層パーセプトロン(MLP)を提供する。
様々なマルチビューシーケンスを実験し、既存のアプローチと比較し、多様で挑戦的な設定でより良い結果を得る。
最後に,最先端の3次元再構成アプローチであるcolmapが苦闘する,疎多視点からの高密度3次元再構成を可能にする。
関連論文リスト
- Zero-Shot Novel View and Depth Synthesis with Multi-View Geometric Diffusion [27.836518920611557]
本稿では,新しい視点から画像や深度マップを直接生成できる拡散型アーキテクチャMVGDを紹介する。
このモデルは、公開データセットから6000万以上のマルチビューサンプルを収集した上でトレーニングします。
複数の新しいビュー合成ベンチマーク、マルチビューステレオおよびビデオ深度推定における最先端結果について報告する。
論文 参考訳（メタデータ） (2025-01-30T23:43:06Z) - Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳（メタデータ） (2024-08-26T04:56:41Z) - MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。
以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-26T17:53:51Z) - MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。
提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
論文 参考訳（メタデータ） (2024-04-04T17:59:57Z) - ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion [61.37481051263816]
本稿では,1つの3Dオブジェクトのイメージが与えられた場合,同じオブジェクトの複数の画像を生成できる手法(ConsistNet)を提案する。
凍結したZero123のバックボーン上での3次元の一貫性を効果的に学習し、1つのA100 GPU上で40秒以内でオブジェクトの周囲のビューを生成する。
論文 参考訳（メタデータ） (2023-10-16T12:29:29Z) - Efficient View Synthesis and 3D-based Multi-Frame Denoising with
Multiplane Feature Representations [1.18885605647513]
本稿では,3Dベースのマルチフレームデノベーション手法を初めて導入し,より少ない計算量で2Dベースのデノベーションを著しく上回った。
特徴空間に多面体を操作する学習可能なエンコーダ-レンダペアを導入することにより,新しいビュー合成のための多面体画像(MPI)フレームワークを拡張した。
論文 参考訳（メタデータ） (2023-03-31T15:23:35Z) - Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。
本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。
合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-03T06:32:55Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳（メタデータ） (2021-05-01T14:32:13Z) - Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。
MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
論文 参考訳（メタデータ） (2020-08-04T20:29:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。