論文の概要: PersonificationNet: Making customized subject act like a person
- arxiv url: http://arxiv.org/abs/2407.09057v1
- Date: Fri, 12 Jul 2024 07:27:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:17:04.561018
- Title: PersonificationNet: Making customized subject act like a person
- Title（参考訳）: パーソナライゼーションネット:パーソナライズされた主題を人として振る舞う
- Authors: Tianchu Guo, Pengyu Li, Biao Wang, Xiansheng Hua,
- Abstract要約: 本稿では,マンガのキャラクターやぬいぐるみなどの特定の主題を制御し,参照した人物のイメージと同じポーズをすることができるペルソナライズネットを提案する。
第1に、カスタマイズされたブランチは、特定対象の外観を模倣し、第2に、ポーズ条件ブランチは、人から変種インスタンスへ身体構造情報を転送し、最後に、推測段階において、人と特定対象の間の構造ギャップを橋渡しする。
- 参考スコア（独自算出の注目度）: 39.359589723267696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently customized generation has significant potential, which uses as few as 3-5 user-provided images to train a model to synthesize new images of a specified subject. Though subsequent applications enhance the flexibility and diversity of customized generation, fine-grained control over the given subject acting like the person's pose is still lack of study. In this paper, we propose a PersonificationNet, which can control the specified subject such as a cartoon character or plush toy to act the same pose as a given referenced person's image. It contains a customized branch, a pose condition branch and a structure alignment module. Specifically, first, the customized branch mimics specified subject appearance. Second, the pose condition branch transfers the body structure information from the human to variant instances. Last, the structure alignment module bridges the structure gap between human and specified subject in the inference stage. Experimental results show our proposed PersonificationNet outperforms the state-of-the-art methods.
- Abstract（参考訳）: 近年、カスタマイズされた生成には大きな可能性を秘めており、3～5個のユーザ提供画像を用いて、特定の被写体の新たな画像の合成をモデルに訓練している。
その後のアプリケーションは、カスタマイズされた生成の柔軟性と多様性を高めるが、人のポーズのように振る舞う対象に対するきめ細かい制御は、まだ研究の欠如である。
本稿では,人物像と同一のポーズを演じるために,漫画キャラクタやぬいぐるみなどの特定対象を制御できるペルソナライズネットを提案する。
カスタマイズされたブランチ、ポーズ条件ブランチ、構造アライメントモジュールが含まれている。
具体的には、まず、カスタマイズされたブランチが特定の被写体を模倣する。
第2に、ポーズ条件分岐は、人体構造情報を変種インスタンスに転送する。
最後に、構造アライメントモジュールは、推論段階における人と特定被写体の間の構造ギャップをブリッジする。
実験の結果,提案するペルソナリティネットは最先端の手法よりも優れていた。
関連論文リスト
- From Parts to Whole: A Unified Reference Framework for Controllable Human Image Generation [19.096741614175524]
Parts2Wholeは、複数の参照画像からカスタマイズされたポートレートを生成するために設計された新しいフレームワークである。
そこで我々はまず,人間の各部分の詳細を保持する意味認識型外見エンコーダを開発した。
第2に,本フレームワークは共有自己認識機構によるマルチイメージコンディション生成をサポートする。
論文 参考訳（メタデータ） (2024-04-23T17:56:08Z) - Training-Free Consistent Text-to-Image Generation [80.4814768762066]
テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。
既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。
本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
論文 参考訳（メタデータ） (2024-02-05T18:42:34Z) - Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image
Personalization [56.12990759116612]
Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。
提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
論文 参考訳（メタデータ） (2024-01-30T05:56:12Z) - InstructBooth: Instruction-following Personalized Text-to-Image
Generation [30.89054609185801]
InstructBoothは、パーソナライズされたテキスト・ツー・イメージモデルにおける画像テキストアライメントを強化するために設計された新しい方法である。
提案手法はまず,一意の識別子を用いて,少数の被写体固有の画像でテキスト・ツー・イメージ・モデルをパーソナライズする。
パーソナライズ後、強化学習を用いてパーソナライズされたテキスト・ツー・イメージモデルを微調整し、画像・テキストのアライメントを定量化する報酬を最大化する。
論文 参考訳（メタデータ） (2023-12-04T20:34:46Z) - DreamBooth: Fine Tuning Text-to-Image Diffusion Models for
Subject-Driven Generation [26.748667878221568]
テキスト・ツー・イメージ・モデルの「個人化」のための新しいアプローチを提案する。
トレーニング済みのテキスト・ツー・イメージモデルを微調整して、ユニークな識別子を特定の主題にバインドする。
次に、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全なフォトリアリスティック・ノーベル画像を合成することができる。
論文 参考訳（メタデータ） (2022-08-25T17:45:49Z) - Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。
既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。
我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。
我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
論文 参考訳（メタデータ） (2020-12-07T15:38:29Z) - Person image generation with semantic attention network for person
re-identification [9.30413920076019]
本稿では,意味的注意ネットワークと呼ばれる新しい人物のポーズ誘導画像生成手法を提案する。
ネットワークはいくつかのセマンティックアテンションブロックで構成されており、各ブロックはポーズコードと衣服のテクスチャを保存および更新する。
他の方法と比較して、我々のネットワークはより優れた身体形状を特徴付けることができ、同時に衣服の属性を保持することができる。
論文 参考訳（メタデータ） (2020-08-18T12:18:51Z) - Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。
本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
論文 参考訳（メタデータ） (2020-07-17T15:58:05Z) - Wish You Were Here: Context-Aware Human Generation [100.51309746913512]
本稿では,既存の画像にオブジェクト,特に人間を挿入する新しい手法を提案する。
本手法では, 現場の他の人物のポーズを考慮し, まず, 新たな人物のセマンティックマップを生成する。
第2のネットワークは、複数の外観成分の仕様に基づいて、新規人物とそのブレンディングマスクの画素を描画する。
第3のネットワークは、対象者の顔と一致するように生成された顔を洗練する。
論文 参考訳（メタデータ） (2020-05-21T14:09:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。