論文の概要: Perceptually Validated Precise Local Editing for Facial Action Units with StyleGAN

• arxiv url: http://arxiv.org/abs/2107.12143v2
• Date: Tue, 27 Jul 2021 09:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 11:26:36.765863
• Title: Perceptually Validated Precise Local Editing for Facial Action Units with StyleGAN
• Title（参考訳）: StyleGANを用いた顔行動単位の精密局所編集の知覚的検証
• Authors: Alara Zindanc{\i}o\u{g}lu and T. Metin Sezgin
• Abstract要約: 顔のセマンティックな操作に広く用いられているStyleGANに基づくソリューションを構築した。 そこで本研究では,潜在空間における編集を行うための単純な戦略が,特定のアクションユニット間の不要な結合をもたらすことを示す。 23名の被験者による知覚実験により局所的編集法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 3.8149289266694466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to edit facial expressions has a wide range of applications in computer graphics. The ideal facial expression editing algorithm needs to satisfy two important criteria. First, it should allow precise and targeted editing of individual facial actions. Second, it should generate high fidelity outputs without artifacts. We build a solution based on StyleGAN, which has been used extensively for semantic manipulation of faces. As we do so, we add to our understanding of how various semantic attributes are encoded in StyleGAN. In particular, we show that a naive strategy to perform editing in the latent space results in undesired coupling between certain action units, even if they are conceptually distinct. For example, although brow lowerer and lip tightener are distinct action units, they appear correlated in the training data. Hence, StyleGAN has difficulty in disentangling them. We allow disentangled editing of such action units by computing detached regions of influence for each action unit, and restrict editing to these regions. We validate the effectiveness of our local editing method through perception experiments conducted with 23 subjects. The results show that our method provides higher control over local editing and produces images with superior fidelity compared to the state-of-the-art methods.
• Abstract（参考訳）: 表情を編集する機能には、コンピュータグラフィックスの幅広い応用がある。 理想的な表情編集アルゴリズムは2つの重要な基準を満たす必要がある。 まず、個々の顔の動きを正確にかつターゲットに編集できる。 次に、アーティファクトなしで高忠実度出力を生成する。 顔のセマンティックな操作に広く用いられているStyleGANに基づくソリューションを構築した。 このようにして、さまざまなセマンティックな属性がどのようにStyleGANにエンコードされているかを理解する。 特に,潜伏空間で編集を行うための素直な戦略が,概念的に異なるとしても,特定のアクションユニット間の不要な結合を生じさせることを示す。 例えば、brow lowererとlip tightenerは異なるアクションユニットであるが、トレーニングデータに相関しているように見える。 したがって、StyleGANはそれらを切り離すことが難しい。 各アクションユニットの分離した影響領域を計算し、これらの領域への編集を制限し、このようなアクションユニットの分割編集を可能にする。 23名の被験者による知覚実験により,局所編集の有効性を検証した。 その結果,本手法は局所的な編集の制御を向上し,最先端の手法に比べて忠実な画像を生成することがわかった。

関連論文リスト

• ZONE: Zero-Shot Instruction-Guided Local Editing [56.56213730578504]
  ゼロショットインストラクションを用いた局所画像編集手法ZONEを提案する。 InstructPix2Pixを通してユーザが提供する命令から特定の画像編集領域に変換する。 次に,オフザシェルフセグメントモデルから正確な画像層抽出を行う領域IoU方式を提案する。
  論文  参考訳（メタデータ） (2023-12-28T02:54:34Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
  我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• Face Attribute Editing with Disentangled Latent Vectors [0.0]
  顔属性編集のための画像から画像への変換フレームワークを提案する。 固定事前学習されたGANの潜在空間因子化作業にインスパイアされ、潜在空間因子化による属性編集を設計する。 意味的に整理された潜在空間に画像を投影するために,注意に基づくスキップ接続を備えたエンコーダデコーダアーキテクチャを構築した。
  論文  参考訳（メタデータ） (2023-01-11T18:32:13Z)
• Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
  既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。 コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。 定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-06T17:02:25Z)
• Video2StyleGAN: Disentangling Local and Global Variations in a Video [68.70889857355678]
  StyleGANは、顔編集の強力なパラダイムとして登場し、年齢、表現、照明などに対する混乱したコントロールを提供する。 我々は,対象画像の同一性において,運転映像の局所的およびグローバル的位置と表現を再現するために,対象画像と運転映像を撮影するVideo2StyleGANを紹介する。
  論文  参考訳（メタデータ） (2022-05-27T14:18:19Z)
• Expanding the Latent Space of StyleGAN for Real Face Editing [4.1715767752637145]
  セマンティックな操作に事前訓練されたStyleGANを使用するために、顔編集技術の急増が提案されている。 実際の画像を編集するには、最初に入力された画像をStyleGANの潜伏変数に変換する必要がある。 本稿では,低歪みと高編集性の間のトレードオフを断ち切るために,コンテンツ機能の追加により,StyleGANの潜伏空間を拡張する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T18:27:53Z)
• FEAT: Face Editing with Attention [70.89233432407305]
  StyleGAN ジェネレータ上に構築し,顔の操作を意図した領域に集中させる手法を提案する。 編集された画像の生成中、アテンションマップは、元の特徴と修正された特徴とのブレンドをガイドするマスクとして機能する。
  論文  参考訳（メタデータ） (2022-02-06T06:07:34Z)
• Talk-to-Edit: Fine-Grained Facial Editing via Dialog [79.8726256912376]
  Talk-to-Editは対話型顔編集フレームワークで、ユーザーとシステム間の対話を通じて微粒な属性操作を行う。 我々の重要な洞察は、GANラテント空間における連続的な「セマンティック場」をモデル化することである。 本システムは,ユーザからの要求とセマンティックフィールドの状態の両方を考慮し,言語フィードバックを生成する。
  論文  参考訳（メタデータ） (2021-09-09T17:17:59Z)
• Toward Fine-grained Facial Expression Manipulation [20.226370494178617]
  従来の方法は、個別の感情ラベルまたは絶対条件に基づいて入力画像を編集し、所望の表現を保持する。 連続絶対条件を相対的条件、特に相対的作用単位に置き換える。 相対作用単位を用いて、ジェネレータは、非ゼロ値の相対AUによって指定される関心領域のみを変換することを学ぶ。
  論文  参考訳（メタデータ） (2020-04-07T05:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。