論文の概要: Learning 3D-aware Image Synthesis with Unknown Pose Distribution

• arxiv url: http://arxiv.org/abs/2301.07702v2
• Date: Thu, 23 Mar 2023 12:25:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 17:32:39.698405
• Title: Learning 3D-aware Image Synthesis with Unknown Pose Distribution
• Title（参考訳）: 未知空間分布を用いた3次元画像合成の学習
• Authors: Zifan Shi, Yujun Shen, Yinghao Xu, Sida Peng, Yiyi Liao, Sheng Guo, Qifeng Chen, Dit-Yan Yeung
• Abstract要約: 既存の3D画像合成法は、トレーニングセットに基づいて事前に推定された3Dポーズ分布に依存する。 本研究は3次元ポーズ先行条件から生成放射場を解放するPoF3Dを提案する。
• 参考スコア（独自算出の注目度）: 68.62476998646866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing methods for 3D-aware image synthesis largely depend on the 3D pose distribution pre-estimated on the training set. An inaccurate estimation may mislead the model into learning faulty geometry. This work proposes PoF3D that frees generative radiance fields from the requirements of 3D pose priors. We first equip the generator with an efficient pose learner, which is able to infer a pose from a latent code, to approximate the underlying true pose distribution automatically. We then assign the discriminator a task to learn pose distribution under the supervision of the generator and to differentiate real and synthesized images with the predicted pose as the condition. The pose-free generator and the pose-aware discriminator are jointly trained in an adversarial manner. Extensive results on a couple of datasets confirm that the performance of our approach, regarding both image quality and geometry quality, is on par with state of the art. To our best knowledge, PoF3D demonstrates the feasibility of learning high-quality 3D-aware image synthesis without using 3D pose priors for the first time.
• Abstract（参考訳）: 既存の3次元認識画像合成手法は,トレーニングセットで推定される3次元ポーズ分布に大きく依存する。 不正確な推定は、モデルを誤り幾何学の学習に誤用する可能性がある。 本研究は3次元ポーズ先行条件から生成放射場を解放するPoF3Dを提案する。 まず,隠れたコードからポーズを推測できる効率的なポーズ学習器を発電機に装備し,その基礎となる真ポーズ分布を自動的に近似する。 次に、判別器に、ジェネレータの監督下でポーズ分布を学習し、予測されたポーズを条件として実画像と合成画像を区別するタスクを割り当てる。 ポーズフリージェネレータとポーズアウェア判別器とを相反的に共同で訓練する。 いくつかのデータセットにおいて、画像の品質と幾何学的品質の両方に関して、我々のアプローチの性能が、最先端技術と同等であることを確認した。 我々の知る限り、PoF3Dは初めて3Dポーズを使わずに高品質な3D画像合成を学習できる可能性を示した。

関連論文リスト

• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• Learning 3D-Aware GANs from Unposed Images with Template Feature Field [33.32761749864555]
  この研究は、未提示の画像から3D対応のGANを学習することを目的としている。 学習テンプレート特徴場(TeFF)を用いたトレーニング画像のオンザフライポーズ推定を提案する。
  論文  参考訳（メタデータ） (2024-04-08T17:42:08Z)
• SideGAN: 3D-Aware Generative Model for Improved Side-View Image Synthesis [44.05449141767394]
  そこで我々は,カメラのポーズによらず,写真リアルな画像を生成する新しい3D GANトレーニング手法であるSideGANを提案する。 提案手法は,カメラのポーズによらず,高品質なジオメトリやフォトリアリスティックな画像を3D GANで生成できることを示す。
  論文  参考訳（メタデータ） (2023-09-19T07:38:05Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
  画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
  論文  参考訳（メタデータ） (2021-03-31T17:59:24Z)
• Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
  マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。 我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。 ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-08-04T07:54:25Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。