論文の概要: Generate and Edit Your Own Character in a Canonical View

• arxiv url: http://arxiv.org/abs/2205.02974v1
• Date: Fri, 6 May 2022 01:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 22:19:14.894593
• Title: Generate and Edit Your Own Character in a Canonical View
• Title（参考訳）: 自分のキャラクタをカノニカルなビューで生成し編集する
• Authors: Jeong-gi Kwak, Yuanming Li, Dongsik Yoon, David Han, Hanseok Ko
• Abstract要約: そこで本研究では,様式化された肖像画を標準的視点で生成する新しい枠組みを提案する。 提案する潜在マッパーを用いて,StyleGANの潜在空間におけるフロントエンドマッピングを解析し,発見する。 我々のモデルは、3Dの監督なしに、未実装の2Dイメージセットで訓練することができる。
• 参考スコア（独自算出の注目度）: 18.400846952014188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, synthesizing personalized characters from a single user-given portrait has received remarkable attention as a drastic popularization of social media and the metaverse. The input image is not always in frontal view, thus it is important to acquire or predict canonical view for 3D modeling or other applications. Although the progress of generative models enables the stylization of a portrait, obtaining the stylized image in canonical view is still a challenging task. There have been several studies on face frontalization but their performance significantly decreases when input is not in the real image domain, e.g., cartoon or painting. Stylizing after frontalization also results in degenerated output. In this paper, we propose a novel and unified framework which generates stylized portraits in canonical view. With a proposed latent mapper, we analyze and discover frontalization mapping in a latent space of StyleGAN to stylize and frontalize at once. In addition, our model can be trained with unlabelled 2D image sets, without any 3D supervision. The effectiveness of our method is demonstrated by experimental results.
• Abstract（参考訳）: 近年,ソーシャルメディアとメタバースの急激な普及として,個人化文字の合成が注目されている。 入力画像は必ずしも正面視であるとは限らないため、3Dモデリングや他のアプリケーションに対して標準視を取得または予測することが重要である。 生成モデルの進歩によりポートレートのスタイライゼーションが可能となるが、標準的な視点でスタイライゼーション画像を得ることは依然として困難な課題である。 顔の正面化に関する研究はいくつかあるが、実際の画像領域(漫画や絵画など)に入力されていない場合、その性能は著しく低下する。 フロントアライズ後のスタイリゼーションも、出力を低下させる。 本稿では,正統的な視点でスタイライズされた肖像画を生成する新しい統一された枠組みを提案する。 提案する潜在マッパーを用いて,スタイルガンの潜在空間におけるフロントカライズマッピングを解析・発見し,同時にスタイライゼーションとフロントカライズを行う。 さらに、我々のモデルは、3Dの監督なしに、未実装の2Dイメージセットで訓練することができる。 実験により本手法の有効性を実証した。

関連論文リスト

• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis [18.64688172651478]
  本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。 一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。 我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
  論文  参考訳（メタデータ） (2023-12-20T13:31:11Z)
• MyPortrait: Morphable Prior-Guided Personalized Portrait Generation [19.911068375240905]
  Myportraitは、神経ポートレート生成のためのシンプルで汎用的で柔軟なフレームワークである。 提案するフレームワークは,映像駆動型と音声駆動型の両方の顔アニメーションをサポートする。 提案手法はリアルタイムオンライン版と高品質オフライン版を提供する。
  論文  参考訳（メタデータ） (2023-12-05T12:05:01Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content [36.48960592782015]
  FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。 我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。 FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
  論文  参考訳（メタデータ） (2023-08-28T02:20:44Z)
• Generating Animatable 3D Cartoon Faces from Single Portraits [51.15618892675337]
  1枚のポートレート画像からアニマタブルな3Dマンガの顔を生成するための新しい枠組みを提案する。 本研究では,3次元マンガの顔のテクスチャを再現する2段階再構築手法を提案する。 最後に,手作業によるテンプレート作成と変形伝達に基づく意味保存顔リギング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-04T04:12:50Z)
• DreamSparse: Escaping from Plato's Cave with 2D Frozen Diffusion Model Given Sparse Views [20.685453627120832]
  既存の手法では、品質の高い結果を生成するのに苦労したり、オブジェクトごとの最適化が必要な場合が少なくない。 DreamSparseは、オブジェクトレベルの画像とシーンレベルの画像の両方に対して高品質なノベルビューを合成することができる。
  論文  参考訳（メタデータ） (2023-06-06T05:26:26Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space [90.74976459491303]
  実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。 正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。 提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:22:57Z)
• Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
  複数発話頭合成のための新しいアプローチを提案する。 この異方性表現は,従来の手法よりも大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:59:42Z)
• Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
  本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。 本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
  論文  参考訳（メタデータ） (2020-07-17T15:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。