論文の概要: SideGAN: 3D-Aware Generative Model for Improved Side-View Image Synthesis

• arxiv url: http://arxiv.org/abs/2309.10388v1
• Date: Tue, 19 Sep 2023 07:38:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 15:44:05.289276
• Title: SideGAN: 3D-Aware Generative Model for Improved Side-View Image Synthesis
• Title（参考訳）: sidegan: サイドビュー画像合成を改善する3次元認識生成モデル
• Authors: Kyungmin Jo, Wonjoon Jin, Jaegul Choo, Hyunjoon Lee, Sunghyun Cho
• Abstract要約: そこで我々は,カメラのポーズによらず,写真リアルな画像を生成する新しい3D GANトレーニング手法であるSideGANを提案する。 提案手法は,カメラのポーズによらず,高品質なジオメトリやフォトリアリスティックな画像を3D GANで生成できることを示す。
• 参考スコア（独自算出の注目度）: 44.05449141767394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent 3D-aware generative models have shown photo-realistic image synthesis with multi-view consistency, the synthesized image quality degrades depending on the camera pose (e.g., a face with a blurry and noisy boundary at a side viewpoint). Such degradation is mainly caused by the difficulty of learning both pose consistency and photo-realism simultaneously from a dataset with heavily imbalanced poses. In this paper, we propose SideGAN, a novel 3D GAN training method to generate photo-realistic images irrespective of the camera pose, especially for faces of side-view angles. To ease the challenging problem of learning photo-realistic and pose-consistent image synthesis, we split the problem into two subproblems, each of which can be solved more easily. Specifically, we formulate the problem as a combination of two simple discrimination problems, one of which learns to discriminate whether a synthesized image looks real or not, and the other learns to discriminate whether a synthesized image agrees with the camera pose. Based on this, we propose a dual-branched discriminator with two discrimination branches. We also propose a pose-matching loss to learn the pose consistency of 3D GANs. In addition, we present a pose sampling strategy to increase learning opportunities for steep angles in a pose-imbalanced dataset. With extensive validation, we demonstrate that our approach enables 3D GANs to generate high-quality geometries and photo-realistic images irrespective of the camera pose.
• Abstract（参考訳）: 最近の3dウェア生成モデルでは、マルチビューの一貫性を持つフォトリアリスティックな画像合成が示されているが、合成された画像品質は、カメラのポーズ(例えば、横の視点でぼやけたノイズの多い境界を持つ顔)によって劣化する。 このような劣化は、ポーズのバランスが不均衡なデータセットからポーズの一貫性とフォトリアリズムを同時に学習することの難しさによって引き起こされる。 本稿では,カメラのポーズに関わらず,特に側視角の顔に対して,写真リアルな画像を生成する新しい3D GANトレーニング手法であるSideGANを提案する。 フォトリアリスティック・ポーズ整合画像合成の難解な課題を解消するため,課題を2つの部分問題に分割し,それぞれをより容易に解くことができるようにした。 具体的には、合成された画像が本物かどうかを識別する学習と、合成された画像がカメラのポーズに一致するかどうかを識別する学習という2つの単純な識別問題の組み合わせとして問題を定式化する。 そこで本研究では,2つの識別枝を持つ二分岐判別器を提案する。 また、3D GANのポーズ一貫性を学習するためのポーズマッチング損失を提案する。 さらに,ポーズ不均衡データセットにおいて,急な角度の学習機会を増やすためのポーズサンプリング戦略を提案する。 広範に検証することで,カメラのポーズによらず,高品質なジオメトリやフォトリアリスティックな画像を3D GANで生成できることが実証された。

関連論文リスト

• DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis [18.64688172651478]
  本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。 一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。 我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
  論文  参考訳（メタデータ） (2023-12-20T13:31:11Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Learning 3D-aware Image Synthesis with Unknown Pose Distribution [68.62476998646866]
  既存の3D画像合成法は、トレーニングセットに基づいて事前に推定された3Dポーズ分布に依存する。 本研究は3次元ポーズ先行条件から生成放射場を解放するPoF3Dを提案する。
  論文  参考訳（メタデータ） (2023-01-18T18:47:46Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency [40.56510679634943]
  マルチビュー幾何整合性を利用した自己教師付きトレーニングアーキテクチャを提案する。 画素の整合性損失,奥行きの整合性損失,顔のランドマークに基づくエピポーラロスを含む,多視点整合性のための3つの新しい損失関数を設計する。 提案手法は精度が高く,特に多彩な表現,ポーズ,照明条件下では堅牢である。
  論文  参考訳（メタデータ） (2020-07-24T12:36:09Z)
• Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement [63.853412753242615]
  優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。 本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。 提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-14T14:25:22Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Learning Pose-invariant 3D Object Reconstruction from Single-view Images [61.98279201609436]
  本稿では,単視点画像のみから3次元形状を学習する,より現実的な構成について検討する。 最大の難しさは、単一のビューイメージが提供できる制約の不足にある。 本稿では, 対角コンパクトな形状空間を学習するために, 効果的な対角領域混同法を提案する。
  論文  参考訳（メタデータ） (2020-04-03T02:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。