論文の概要: Learned Spatial Representations for Few-shot Talking-Head Synthesis

• arxiv url: http://arxiv.org/abs/2104.14557v1
• Date: Thu, 29 Apr 2021 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 12:56:35.080142
• Title: Learned Spatial Representations for Few-shot Talking-Head Synthesis
• Title（参考訳）: 数発対話ヘッド合成のための学習空間表現
• Authors: Moustafa Meshry, Saksham Suri, Larry S. Davis, Abhinav Shrivastava
• Abstract要約: 複数発話頭合成のための新しいアプローチを提案する。 この異方性表現は,従来の手法よりも大幅に改善されることを示す。
• 参考スコア（独自算出の注目度）: 68.3787368024951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel approach for few-shot talking-head synthesis. While recent works in neural talking heads have produced promising results, they can still produce images that do not preserve the identity of the subject in source images. We posit this is a result of the entangled representation of each subject in a single latent code that models 3D shape information, identity cues, colors, lighting and even background details. In contrast, we propose to factorize the representation of a subject into its spatial and style components. Our method generates a target frame in two steps. First, it predicts a dense spatial layout for the target image. Second, an image generator utilizes the predicted layout for spatial denormalization and synthesizes the target frame. We experimentally show that this disentangled representation leads to a significant improvement over previous methods, both quantitatively and qualitatively.
• Abstract（参考訳）: 本稿では,数発対話頭合成のための新しい手法を提案する。 ニューラルトーキングヘッドの最近の研究は有望な結果を生み出しているが、ソース画像中の被写体の同一性を保たない画像を生成することができる。 これは、3次元形状情報、アイデンティティーの手がかり、色、照明、さらには背景の詳細をモデル化した単一の潜在コードで各被験者の絡み合った表現の結果であると仮定する。 対照的に、対象の表現を空間的・スタイル的な構成要素に分解することを提案する。 本手法は2段階の目標フレームを生成する。 まず、ターゲット画像の密集した空間配置を予測する。 次に、画像生成装置は、予測レイアウトを利用して空間的非正規化を行い、ターゲットフレームを合成する。 本研究では,この不整合表現が,従来の手法に比べて定量的かつ定性的に有意な改善をもたらすことを示す。

関連論文リスト

• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Zero-1-to-3: Zero-shot One Image to 3D Object [30.455300183998247]
  単一のRGB画像のみを与えられたオブジェクトのカメラ視点を変更するためのフレームワークであるZero-1-to-3を紹介する。 条件拡散モデルは、合成データセットを用いて、相対カメラ視点の制御を学習する。 提案手法は,インターネット規模の事前学習を活用して,最先端の1次元3次元再構成と新しいビュー合成モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-20T17:59:50Z)
• Global Context-Aware Person Image Generation [24.317541784957285]
  文脈認識型人物画像生成のためのデータ駆動型アプローチを提案する。 本手法では,生成した人物の位置,規模,外観を,現場の既存人物に対して意味的に条件付けする。
  論文  参考訳（メタデータ） (2023-02-28T16:34:55Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations [29.756718435405983]
  暗黙的な3D表現は、表面やシーンの再構築や新しいビュー合成において、印象的な成果を上げている。 ニューラル・レージアンス・フィールド(Neural Radiance Field、NeRF)とその変種のような既存のアプローチは、通常、密度の高い入力ビューを必要とする。 暗黙的な3次元表現のための座標モデルCoCo-INRを提案する。
  論文  参考訳（メタデータ） (2022-10-20T11:13:50Z)
• PeRFception: Perception using Radiance Fields [72.99583614735545]
  私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。 元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。 この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:32:46Z)
• OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs [8.26410341981427]
  生成したサンプルが信頼でき、現実的、あるいは自然であることを保証する方法について研究する。 本稿では,条件付きテキスト・ツー・イメージGANアーキテクチャの潜在空間における意味論的理解可能な方向を識別するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:33Z)
• Shelf-Supervised Mesh Prediction in the Wild [54.01373263260449]
  本研究では,物体の3次元形状とポーズを1つの画像から推定する学習手法を提案する。 まず、カメラのポーズとともに、標準フレーム内の体積表現を推定する。 粗い体積予測はメッシュベースの表現に変換され、予測されたカメラフレームでさらに洗練される。
  論文  参考訳（メタデータ） (2021-02-11T18:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。