Fugu-MT 論文翻訳(概要): G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images

論文の概要: G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images

arxiv url: http://arxiv.org/abs/2404.07474v1
Date: Thu, 11 Apr 2024 04:58:18 GMT
ステータス: 処理完了
システム内更新日: 2024-04-12 14:58:47.777035
Title: G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images
Title（参考訳）: G-NeRF:シングルビュー画像からの幾何強化された新しいビュー合成
Authors: Zixiong Huang, Qi Chen, Libo Sun, Yifan Yang, Naizhou Wang, Mingkui Tan, Qi Wu,
Abstract要約: 我々は,幾何誘導多視点合成手法により,幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。単一視点画像に対する多視点監視の欠如に対処するために,深度認識型トレーニングアプローチを設計する。
参考スコア（独自算出の注目度）: 45.66479596827045
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Novel view synthesis aims to generate new view images of a given view image collection. Recent attempts address this problem relying on 3D geometry priors (e.g., shapes, sizes, and positions) learned from multi-view images. However, such methods encounter the following limitations: 1) they require a set of multi-view images as training data for a specific scene (e.g., face, car or chair), which is often unavailable in many real-world scenarios; 2) they fail to extract the geometry priors from single-view images due to the lack of multi-view supervision. In this paper, we propose a Geometry-enhanced NeRF (G-NeRF), which seeks to enhance the geometry priors by a geometry-guided multi-view synthesis approach, followed by a depth-aware training. In the synthesis process, inspired that existing 3D GAN models can unconditionally synthesize high-fidelity multi-view images, we seek to adopt off-the-shelf 3D GAN models, such as EG3D, as a free source to provide geometry priors through synthesizing multi-view data. Simultaneously, to further improve the geometry quality of the synthetic data, we introduce a truncation method to effectively sample latent codes within 3D GAN models. To tackle the absence of multi-view supervision for single-view images, we design the depth-aware training approach, incorporating a depth-aware discriminator to guide geometry priors through depth maps. Experiments demonstrate the effectiveness of our method in terms of both qualitative and quantitative results.
Abstract（参考訳）: 新しいビュー合成は、与えられたビュー画像コレクションの新しいビュー画像を生成することを目的としている。最近の試みでは、多視点画像から学習した3次元幾何(例えば、形状、大きさ、位置)に依存してこの問題に対処している。しかし、このような方法には以下の制限がある。 1)特定のシーン(例えば、顔、車、椅子)のトレーニングデータとして、複数のビューイメージのセットが必要です。 2) 複数視点の監督が欠如しているため, 単一視点画像から幾何の先行情報を抽出できなかった。本稿では,幾何誘導型多視点合成手法により幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。既存の3D GANモデルが非条件で高忠実なマルチビュー画像を合成できることにインスパイアされた合成プロセスでは,EG3Dのような既製の3D GANモデルをフリーソースとして採用し,マルチビューデータを合成することで幾何学的先行情報を提供する。同時に、合成データの幾何学的品質をさらに向上するために、3D GANモデル内の潜伏符号を効果的にサンプリングするトラニケーション法を導入する。単一視点画像に対する多視点監視の欠如に対処するため,深度対応学習手法を設計し,深度対応識別器を用いて深度マップを通して幾何先行を案内する。定性的および定量的な結果の両面から,本手法の有効性を実証した。

関連論文リスト

GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions [22.077366472693395]
単一ビューコレクションから3次元形状と画像を合成するための新しい生成手法を提案する。ニューラルラディアンス場を用いたボリュームレンダリングを用いることで、生成した幾何学はノイズが多く、制約がないという重要な制限を継承する。エンド・ツー・エンドで訓練された新しいSDFベースの3D生成モデルであるGeoGenを提案する。
論文参考訳（メタデータ） (2024-06-06T17:00:10Z)
Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
単一画像の3次元操作を可能にする新しい画像編集手法を提案する。本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
論文参考訳（メタデータ） (2024-03-18T06:18:59Z)
Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文参考訳（メタデータ） (2023-04-17T17:40:52Z)
GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文参考訳（メタデータ） (2023-03-24T03:32:02Z)
High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文参考訳（メタデータ） (2022-11-28T18:59:52Z)
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis [48.33860286920389]
3D認識画像合成は、3D表現を学習することにより、複数のビューからオブジェクトの画像を生成することを目的としている。既存のアプローチには幾何学的制約がないため、通常はマルチビュー一貫性のある画像を生成することができない。幾何制約付き高品質な3次元画像合成のためのマルチビュー一貫性ジェネレータネットワーク(MVCGAN)を提案する。
論文参考訳（メタデータ） (2022-04-13T11:23:09Z)
SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文参考訳（メタデータ） (2021-08-11T22:34:53Z)
Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry [3.970492757288025]
本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。 U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
論文参考訳（メタデータ） (2021-04-28T11:31:35Z)
Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
論文参考訳（メタデータ） (2020-10-09T06:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。