論文の概要: HairCLIPv2: Unifying Hair Editing via Proxy Feature Blending

• arxiv url: http://arxiv.org/abs/2310.10651v1
• Date: Mon, 16 Oct 2023 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 12:20:51.244667
• Title: HairCLIPv2: Unifying Hair Editing via Proxy Feature Blending
• Title（参考訳）: HairCLIPv2: Proxy Feature Blendingによるヘア編集の統合
• Authors: Tianyi Wei and Dongdong Chen and Wenbo Zhou and Jing Liao and Weiming Zhang and Gang Hua and Nenghai Yu
• Abstract要約: HairCLIPは、テキスト記述や参照画像に基づいた毛髪編集を可能にする最初の作品である。 本稿では,上述したすべてのインタラクションを一つの統一フレームワークでサポートすることを目的としたHairCLIPv2を提案する。 鍵となるアイデアは、すべてのヘア編集タスクをヘア転写タスクに変換し、それに応じて編集条件を異なるプロキシに変換することである。
• 参考スコア（独自算出の注目度）: 94.39417893972262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hair editing has made tremendous progress in recent years. Early hair editing methods use well-drawn sketches or masks to specify the editing conditions. Even though they can enable very fine-grained local control, such interaction modes are inefficient for the editing conditions that can be easily specified by language descriptions or reference images. Thanks to the recent breakthrough of cross-modal models (e.g., CLIP), HairCLIP is the first work that enables hair editing based on text descriptions or reference images. However, such text-driven and reference-driven interaction modes make HairCLIP unable to support fine-grained controls specified by sketch or mask. In this paper, we propose HairCLIPv2, aiming to support all the aforementioned interactions with one unified framework. Simultaneously, it improves upon HairCLIP with better irrelevant attributes (e.g., identity, background) preservation and unseen text descriptions support. The key idea is to convert all the hair editing tasks into hair transfer tasks, with editing conditions converted into different proxies accordingly. The editing effects are added upon the input image by blending the corresponding proxy features within the hairstyle or hair color feature spaces. Besides the unprecedented user interaction mode support, quantitative and qualitative experiments demonstrate the superiority of HairCLIPv2 in terms of editing effects, irrelevant attribute preservation and visual naturalness. Our code is available at \url{https://github.com/wty-ustc/HairCLIPv2}.
• Abstract（参考訳）: 近年、毛髪編集は著しく進歩している。 初期の毛髪編集方法は、よく描かれたスケッチやマスクを使って編集条件を指定する。 非常にきめ細かいローカル制御を可能にすることができるが、そのような対話モードは言語記述や参照画像で容易に指定できる編集条件では非効率である。 最近のクロスモーダルモデル(例えばCLIP)のブレークスルーにより、HairCLIPはテキスト記述や参照画像に基づいた毛髪編集を可能にする最初の作品である。 しかし、テキスト駆動と参照駆動のインタラクションモードにより、HairCLIPはスケッチやマスクによって指定されたきめ細かい制御をサポートできない。 本稿では,上述したすべてのインタラクションを一つの統一フレームワークでサポートすることを目的としたHairCLIPv2を提案する。 同時に、不適切な属性(例えば、アイデンティティ、バックグラウンド)と見えないテキスト記述のサポートにより、HairCLIPを改善する。 重要なアイデアは、すべてのヘア編集タスクをヘア転送タスクに変換し、それに従って編集条件を異なるプロキシに変換することだ。 ヘアスタイル又はヘアカラー特徴空間に対応するプロキシ特徴をブレンドすることにより、入力画像に編集効果を付加する。 前例のないユーザインタラクションモードのサポートに加えて、量的および質的実験は、編集効果、無関係な属性保存、視覚的自然性の観点から、ヘアクリフ2の優位を示す。 私たちのコードは \url{https://github.com/wty-ustc/HairCLIPv2} で利用可能です。

関連論文リスト

• An Item is Worth a Prompt: Versatile Image Editing with Disentangled Control [21.624984690721842]
  D-Editは、包括的な画像-プロンプトインタラクションをいくつかのアイテム-プロンプトインタラクションに切り離すためのフレームワークである。 クロスアテンション層が歪んだ事前学習拡散モデルに基づいており、アイテム・プロンプト・アソシエーションを構築するために2段階の最適化を採用している。 画像ベース,テキストベース,マスクベースの編集,アイテム削除を含む4種類の編集作業において,最先端の結果を示す。
  論文  参考訳（メタデータ） (2024-03-07T20:06:29Z)
• Optimisation-Based Multi-Modal Semantic Image Editing [58.496064583110694]
  本稿では,複数の編集命令型に対応するために,推論時編集の最適化を提案する。 各損失関数の影響を調整することで、ユーザの好みに合わせてフレキシブルな編集ソリューションを構築することができる。 本手法は,テキスト,ポーズ,スクリブルといった編集条件を用いて評価し,複雑な編集を行う能力を強調した。
  論文  参考訳（メタデータ） (2023-11-28T15:31:11Z)
• FICE: Text-Conditioned Fashion Image Editing With Guided GAN Inversion [16.583537785874604]
  本研究では,多種多様なテキスト記述を扱える新しいテキスト条件編集モデルFICEを提案する。 FICEは、非常にリアルなファッションイメージを生成し、既存の競合するアプローチよりも強力な編集性能をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T15:33:23Z)
• DE-Net: Dynamic Text-guided Image Editing Adversarial Networks [82.67199573030513]
  様々な編集要求に対して動的に空間的・チャネル的に操作する動的編集ブロック(DEBlock)を提案する。 我々のDE-Netは優れた性能を実現し、より効果的かつ正確にソース画像を操作する。
  論文  参考訳（メタデータ） (2022-06-02T17:20:52Z)
• HairCLIP: Design Your Hair by Text and Reference Image [100.85116679883724]
  本稿では, 毛髪属性を個別に, 共同で操作できる新しい毛髪編集インタラクションモードを提案する。 画像とテキストの条件を共有埋め込み空間にエンコードし、統一的なヘア編集フレームワークを提案する。 念入りに設計されたネットワーク構造と損失関数により,我々のフレームワークは高品質な毛髪編集を行うことができる。
  論文  参考訳（メタデータ） (2021-12-09T18:59:58Z)
• Talk-to-Edit: Fine-Grained Facial Editing via Dialog [79.8726256912376]
  Talk-to-Editは対話型顔編集フレームワークで、ユーザーとシステム間の対話を通じて微粒な属性操作を行う。 我々の重要な洞察は、GANラテント空間における連続的な「セマンティック場」をモデル化することである。 本システムは,ユーザからの要求とセマンティックフィールドの状態の両方を考慮し,言語フィードバックを生成する。
  論文  参考訳（メタデータ） (2021-09-09T17:17:59Z)
• MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing [122.82964863607938]
  MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。 我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。 また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
  論文  参考訳（メタデータ） (2020-10-30T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。