論文の概要: Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion
- arxiv url: http://arxiv.org/abs/2211.07195v1
- Date: Mon, 14 Nov 2022 08:37:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:32:38.040207
- Title: Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion
- Title（参考訳）: 非リジッド構造を用いた制御可能なGAN合成
- Authors: Ren\'e Haas, Stella Gra{\ss}hof, Sami S. Brandt
- Abstract要約: 本研究では,NRSfM(non-rigid structure-from-motion)と深部生成モデルを組み合わせた手法を提案する。
本稿では,3次元形状の変化に対応する2次元GANの潜在空間における軌跡の発見に有効なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 1.7205106391379026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present an approach for combining non-rigid
structure-from-motion (NRSfM) with deep generative models,and propose an
efficient framework for discovering trajectories in the latent space of 2D GANs
corresponding to changes in 3D geometry. Our approach uses recent advances in
NRSfM and enables editing of the camera and non-rigid shape information
associated with the latent codes without needing to retrain the generator. This
formulation provides an implicit dense 3D reconstruction as it enables the
image synthesis of novel shapes from arbitrary view angles and non-rigid
structure. The method is built upon a sparse backbone, where a neural regressor
is first trained to regress parameters describing the cameras and sparse
non-rigid structure directly from the latent codes. The latent trajectories
associated with changes in the camera and structure parameters are then
identified by estimating the local inverse of the regressor in the neighborhood
of a given latent code. The experiments show that our approach provides a
versatile, systematic way to model, analyze, and edit the geometry and
non-rigid structures of faces.
- Abstract（参考訳）: 本稿では,NRSfMと深部生成モデルを組み合わせる手法を提案する。また,3次元形状の変化に対応する2次元GANの潜時空間における軌道探索のための効率的な枠組みを提案する。
提案手法はnrsfmの最近の進歩を活かし、ジェネレータをリトレーニングすることなく、潜在コードに関連するカメラおよび非剛体形状情報の編集を可能にする。
この定式化は、任意の視角と非剛体構造から新しい形状のイメージ合成を可能にするため、暗黙的な3次元再構成を提供する。
この方法はスパースバックボーン上に構築され、まず神経回帰器がカメラを記述するパラメータを回帰させ、潜伏するコードから直接スパース非剛体構造を分離するように訓練される。
次に、カメラと構造パラメータの変化に関連する潜時軌跡を、所定の潜時符号の近傍で回帰器の局所反転を推定することにより同定する。
実験により, 顔の形状や非剛体構造をモデル化, 解析, 編集するための汎用的, 体系的な方法が得られた。
関連論文リスト
- AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。
本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
論文 参考訳（メタデータ） (2024-10-02T03:10:38Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Neural Template: Topology-aware Reconstruction and Disentangled
Generation of 3D Meshes [52.038346313823524]
本稿では,Distangled Topologyによる3次元メッシュ再構成と生成のためのDTNetという新しいフレームワークを提案する。
提案手法は,最先端の手法と比較して,特に多様なトポロジで高品質なメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-06-10T08:32:57Z) - Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective [81.56957468529602]
本稿では,シーケンス・ツー・シーケンス翻訳の観点から,ディープNASfMをモデル化する。
まず,1つのフレームから初期非剛体形状とカメラの動きを推定するために,形状運動予測器を適用した。
そこで我々は,カメラの動きと複雑な非剛体形状をモデル化するためのコンテキストモデリングモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-10T17:13:52Z) - Learning to generate shape from global-local spectra [0.0]
我々は,この手法を,いわゆる形状-スペクトルパラダイムの最近の進歩の上に構築する。
我々は、スペクトルを自然なものとみなし、形状の多様性を符号化するために表現を使用する準備ができている。
提案手法は既存手法や代替手法と比較して改善された。
論文 参考訳（メタデータ） (2021-08-04T16:39:56Z) - 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment
Feedback Loop [128.07841893637337]
回帰に基づく手法は最近、単眼画像からヒトのメッシュを再構成する有望な結果を示した。
パラメータの小さな偏差は、推定メッシュと画像のエビデンスの間に顕著な不一致を引き起こす可能性がある。
本稿では,特徴ピラミッドを活用し,予測パラメータを補正するために,ピラミッドメッシュアライメントフィードバック(pymaf)ループを提案する。
論文 参考訳（メタデータ） (2021-03-30T17:07:49Z) - Robust Isometric Non-Rigid Structure-from-Motion [29.229898443263238]
非Rigid Structure-from-Motion (NRSfM)は、モノクロ2D画像間の対応から変形可能な3Dオブジェクトを再構成する。
現在のNRSfM法は、対応誤りに対処する統計的堅牢性を欠いている。
等尺性を利用してNRSfMを頑健に解く3ステップの自動パイプラインを提案する。
論文 参考訳（メタデータ） (2020-10-09T17:25:00Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。