論文の概要: VirtualModel: Generating Object-ID-retentive Human-object Interaction Image by Diffusion Model for E-commerce Marketing
- arxiv url: http://arxiv.org/abs/2405.09985v1
- Date: Thu, 16 May 2024 11:05:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 14:31:57.699371
- Title: VirtualModel: Generating Object-ID-retentive Human-object Interaction Image by Diffusion Model for E-commerce Marketing
- Title（参考訳）: VirtualModel:Eコマースマーケティングのための拡散モデルによるオブジェクト-ID-リテーティブな人間-オブジェクトインタラクション画像の生成
- Authors: Binghui Chen, Chongyang Zhong, Wangmeng Xiang, Yifeng Geng, Xuansong Xie,
- Abstract要約: Controlnet[36]、T2I-adapter[20]、HumanSD[10]といった既存の作品では、ポーズ条件に基づいて人間の画像を生成する優れた能力を示している。
本稿では,まず,eコマースマーケティングのための新たなヒューマン画像生成タスク,すなわち,オブジェクトID拘束型ヒューマンオブジェクトインタラクション画像生成(OHG)を定義する。
本稿では,製品カテゴリの表示や,人間とオブジェクトのインタラクションのタイプをサポートする,製品用のヒューマンイメージを生成するためのVirtualModelフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 20.998016266794952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the significant advances in large-scale text-to-image generation by diffusion model (DM), controllable human image generation has been attracting much attention recently. Existing works, such as Controlnet [36], T2I-adapter [20] and HumanSD [10] have demonstrated good abilities in generating human images based on pose conditions, they still fail to meet the requirements of real e-commerce scenarios. These include (1) the interaction between the shown product and human should be considered, (2) human parts like face/hand/arm/foot and the interaction between human model and product should be hyper-realistic, and (3) the identity of the product shown in advertising should be exactly consistent with the product itself. To this end, in this paper, we first define a new human image generation task for e-commerce marketing, i.e., Object-ID-retentive Human-object Interaction image Generation (OHG), and then propose a VirtualModel framework to generate human images for product shown, which supports displays of any categories of products and any types of human-object interaction. As shown in Figure 1, VirtualModel not only outperforms other methods in terms of accurate pose control and image quality but also allows for the display of user-specified product objects by maintaining the product-ID consistency and enhancing the plausibility of human-object interaction. Codes and data will be released.
- Abstract（参考訳）: 拡散モデル (DM) による大規模テキスト・画像生成の大幅な進歩により, 制御可能な人体画像生成が近年注目されている。
Controlnet [36]、T2I-adapter [20]、HumanSD [10]といった既存の作品では、ポーズ条件に基づいて人間の画像を生成する優れた能力を示しており、実際のeコマースシナリオの要件を満たしていない。
それらには、(1)表示された製品と人間の相互作用を考慮し、(2)顔・手・足などの人的部分と人的モデルと製品との相互作用を超現実的にし、(3)広告で示される商品の同一性は、製品そのものと正確に一致すべきである。
そこで本稿では,まず,eコマースマーケティングのための新たなヒューマンイメージ生成タスク,すなわち,オブジェクト-ID-Retentive Human-object Interaction Image Generation (OHG)を定義し,その上で,製品カテゴリの表示や,さまざまなタイプのヒューマンオブジェクトインタラクションをサポートする,製品のためのヒューマンイメージを生成するVirtualModelフレームワークを提案する。
図1に示すように、VirtualModelは、正確なポーズ制御と画質の点で他の手法よりも優れているだけでなく、製品とIDの整合性を維持し、人間とオブジェクトの相互作用の妥当性を高めることで、ユーザ特定製品オブジェクトの表示を可能にします。
コードとデータはリリースされます。
関連論文リスト
- CapHuman: Capture Your Moments in Parallel Universes [60.06408546134581]
CapHumanという新しいフレームワークを紹介します。
CapHumanはアイデンティティ機能をエンコードし、それを潜在空間に整列させることを学ぶ。
モデルに人間の頭部を柔軟で3D一貫性のある方法で制御させる前に、3D顔を導入する。
論文 参考訳（メタデータ） (2024-02-01T14:41:59Z) - Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。
我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。
提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
論文 参考訳（メタデータ） (2024-01-09T18:59:04Z) - Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation [38.08445005326031]
提案するProciGenは,多種多様なオブジェクトの相互作用と対話性の両方で,プロシージャ的にデータセットを生成する。
我々は3Dで1M以上の人間と物体の相互作用ペアを生成し、この大規模データを利用してHDM(Procedural Diffusion Model)を訓練する。
我々のHDMは、現実的な相互作用と高精度な人間と物体の形状の両方を学習する画像条件拡散モデルである。
論文 参考訳（メタデータ） (2023-12-12T08:32:55Z) - Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - Cross-view and Cross-pose Completion for 3D Human Understanding [22.787947086152315]
画像のみを用いて人間中心のデータを扱う自己教師付き学習に基づく事前学習手法を提案する。
身体中心タスクのためのモデルと手中心タスクのためのモデルを事前訓練する。
汎用的なトランスフォーマーアーキテクチャでは、これらのモデルは、広範囲の人間中心の下流タスクにおいて、既存の自己教師付き事前学習方法より優れている。
論文 参考訳（メタデータ） (2023-11-15T16:51:18Z) - HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion [114.15397904945185]
本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。
本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。
我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
論文 参考訳（メタデータ） (2023-10-12T17:59:34Z) - Hand-Object Interaction Image Generation [135.87707468156057]
この仕事は、新しいタスク、すなわち手動オブジェクトのインタラクション画像生成に特化している。
与えられた手、オブジェクト、それらの相互作用状態の下で、条件付きハンドオブジェクト画像を生成することを目的としている。
このタスクは、AR/VRゲームやオンラインショッピングなど、多くの潜在的なアプリケーションシナリオにおいて、挑戦的で研究に値するものだ。
論文 参考訳（メタデータ） (2022-11-28T18:59:57Z) - Reconstructing Action-Conditioned Human-Object Interactions Using
Commonsense Knowledge Priors [42.17542596399014]
本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。
提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。
本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
論文 参考訳（メタデータ） (2022-09-06T13:32:55Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-08-01T01:27:02Z) - DALL-Eval: Probing the Reasoning Skills and Social Biases of
Text-to-Image Generation Models [73.12069620086311]
テキスト・ツー・イメージ・モデルの視覚的推論能力と社会的バイアスについて検討する。
まず,物体認識,物体カウント,空間的関係理解という3つの視覚的推論スキルを計測する。
第2に、生成した画像の性別/肌の色調分布を測定することにより、性別と肌のトーンバイアスを評価する。
論文 参考訳（メタデータ） (2022-02-08T18:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。