論文の概要: Grasping the Arrow of Time from the Singularity: Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN

• arxiv url: http://arxiv.org/abs/2204.12696v1
• Date: Wed, 27 Apr 2022 04:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 13:26:31.409351
• Title: Grasping the Arrow of Time from the Singularity: Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN
• Title（参考訳）: 時空の特異性からのグラッピング:スタイルGANから低次元ラテント空間におけるマイクロモーションの復号
• Authors: Qiucheng Wu, Yifan Jiang, Junru Wu, Kai Wang, Gong Zhang, Humphrey Shi, Zhangyang Wang, Shiyu Chang
• Abstract要約: 顔生成のためのStyleGAN-v2モデルの潜在空間から抽出した低ランク空間で「マイクロモーション」を表現できることを示す。 これは、その潜在的特徴に対するアフィン変換として単純なものとして表すことができる。 局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体に整列していることが示される。
• 参考スコア（独自算出の注目度）: 105.99762358450633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The disentanglement of StyleGAN latent space has paved the way for realistic and controllable image editing, but does StyleGAN know anything about temporal motion, as it was only trained on static images? To study the motion features in the latent space of StyleGAN, in this paper, we hypothesize and demonstrate that a series of meaningful, natural, and versatile small, local movements (referred to as "micromotion", such as expression, head movement, and aging effect) can be represented in low-rank spaces extracted from the latent space of a conventionally pre-trained StyleGAN-v2 model for face generation, with the guidance of proper "anchors" in the form of either short text or video clips. Starting from one target face image, with the editing direction decoded from the low-rank space, its micromotion features can be represented as simple as an affine transformation over its latent feature. Perhaps more surprisingly, such micromotion subspace, even learned from just single target face, can be painlessly transferred to other unseen face images, even those from vastly different domains (such as oil painting, cartoon, and sculpture faces). It demonstrates that the local feature geometry corresponding to one type of micromotion is aligned across different face subjects, and hence that StyleGAN-v2 is indeed "secretly" aware of the subject-disentangled feature variations caused by that micromotion. We present various successful examples of applying our low-dimensional micromotion subspace technique to directly and effortlessly manipulate faces, showing high robustness, low computational overhead, and impressive domain transferability. Our codes are available at https://github.com/wuqiuche/micromotion-StyleGAN.
• Abstract（参考訳）: StyleGANの潜在空間のゆがみは、現実的で制御可能な画像編集の道を開いたが、StyleGANは静的画像のみにトレーニングされたため、時間運動について何か知っているだろうか? StyleGANの潜伏空間における動きの特徴を研究するために,従来の事前学習型StyleGAN-v2モデルの潜伏空間から抽出した低ランク空間において,一連の意味的,自然的,多目的な局所運動(表現,頭部運動,老化効果など「マイクロモーション」と呼ばれる)が,短いテキストやビデオクリップの形で適切な「アンカー」のガイダンスを用いて表現できることを仮定し,実証する。 1つのターゲット顔画像から、低ランク空間から編集方向をデコードし、そのマイクロモーション特徴を、潜伏した特徴に対するアフィン変換として表すことができる。 さらに驚くべきことに、単一のターゲットの顔から学んだようなマイクロモーションサブスペースは、油絵、漫画、彫刻の顔など、非常に異なる領域の顔でさえも、痛みなく他の見えない顔画像に移すことができる。 局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体間で整列していることが示され、したがって、StyleGAN-v2は、そのマイクロモーションによって引き起こされる被写体外特徴の変化を「秘かに」認識している。 我々は,低次元マイクロモーションサブスペース技術を用いて顔を直接かつ無力に操作し,高ロバスト性,低計算オーバーヘッド,印象的なドメイン転送性を示す,様々な成功例を示す。 私たちのコードはhttps://github.com/wuqiuche/micromotion-styleganで利用可能です。

関連論文リスト

• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• We never go out of Style: Motion Disentanglement by Subspace Decomposition of Latent Space [38.54517335215281]
  本稿では,事前学習画像GANモデルを用いて映像中の動きを分解する新しい手法を提案する。 広範に使われているスタイルベースGANモデルの潜在空間において、非交叉運動部分空間が発見される。 顔と車のデータセット上での運動部分空間の絡み合い特性を評価する。
  論文  参考訳（メタデータ） (2023-06-01T11:18:57Z)
• StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
  拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。 これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。 本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
  論文  参考訳（メタデータ） (2023-03-10T18:59:33Z)
• Detection of (Hidden) Emotions from Videos using Muscles Movements and Face Manifold Embedding [0.0]
  人間の顔の映像から感情を検出するための,非侵襲的で,手軽にスケールできる新しい方法を提案する。 提案手法は,映像中の顔の位置の正確な検出と局所的な顔多様体の埋め込みを組み合わせたものである。 次に,Digital Image Speckle correlation (DISC) と光フローアルゴリズムを用いて,顔の微小な動きのパターンを計算する。
  論文  参考訳（メタデータ） (2022-11-01T02:48:35Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• Video2StyleGAN: Disentangling Local and Global Variations in a Video [68.70889857355678]
  StyleGANは、顔編集の強力なパラダイムとして登場し、年齢、表現、照明などに対する混乱したコントロールを提供する。 我々は,対象画像の同一性において,運転映像の局所的およびグローバル的位置と表現を再現するために,対象画像と運転映像を撮影するVideo2StyleGANを紹介する。
  論文  参考訳（メタデータ） (2022-05-27T14:18:19Z)
• Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition [2.1028463367241033]
  顔面微小運動の局所的なラグランジアン運動倍率に対する新しいアプローチを提案する。 まず、顔を深層学習するために、リカレントな全ペアフィールド変換(RAFT)を微調整する。 第二に、顔の微小運動は空間と時間の両方で局所的であるので、空間と時間の両方でスパース成分を分解し、二重スパース分解をもたらすOF場を近似することを提案する。
  論文  参考訳（メタデータ） (2022-04-15T20:24:11Z)
• PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
  本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。 トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。 アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
  論文  参考訳（メタデータ） (2020-09-20T17:53:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。