論文の概要: Exploring Disentangled and Controllable Human Image Synthesis: From End-to-End to Stage-by-Stage

• arxiv url: http://arxiv.org/abs/2503.19486v1
• Date: Tue, 25 Mar 2025 09:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:55:20.619862
• Title: Exploring Disentangled and Controllable Human Image Synthesis: From End-to-End to Stage-by-Stage
• Title（参考訳）: 遠方および制御可能な人間の画像合成の探索:エンド・ツー・エンドからステージ・バイ・ステージ・バイ・ステージ
• Authors: Zhengwentai Sun, Heyuan Li, Xihe Yang, Keru Zheng, Shuliang Ning, Yihao Zhi, Hongjie Liao, Chenghong Li, Shuguang Cui, Xiaoguang Han,
• Abstract要約: そこで我々は,新しい非絡み合い・制御可能な人間合成タスクを導入する。 本稿ではまず,MVHumanNetで学習した要素不絡に対するエンドツーエンド生成モデルを提案する。 本稿では,人間の画像生成を3段階に分解するステージバイステージフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 34.72900198337818
• License:
• Abstract: Achieving fine-grained controllability in human image synthesis is a long-standing challenge in computer vision. Existing methods primarily focus on either facial synthesis or near-frontal body generation, with limited ability to simultaneously control key factors such as viewpoint, pose, clothing, and identity in a disentangled manner. In this paper, we introduce a new disentangled and controllable human synthesis task, which explicitly separates and manipulates these four factors within a unified framework. We first develop an end-to-end generative model trained on MVHumanNet for factor disentanglement. However, the domain gap between MVHumanNet and in-the-wild data produce unsatisfacotry results, motivating the exploration of virtual try-on (VTON) dataset as a potential solution. Through experiments, we observe that simply incorporating the VTON dataset as additional data to train the end-to-end model degrades performance, primarily due to the inconsistency in data forms between the two datasets, which disrupts the disentanglement process. To better leverage both datasets, we propose a stage-by-stage framework that decomposes human image generation into three sequential steps: clothed A-pose generation, back-view synthesis, and pose and view control. This structured pipeline enables better dataset utilization at different stages, significantly improving controllability and generalization, especially for in-the-wild scenarios. Extensive experiments demonstrate that our stage-by-stage approach outperforms end-to-end models in both visual fidelity and disentanglement quality, offering a scalable solution for real-world tasks. Additional demos are available on the project page: https://taited.github.io/discohuman-project/.
• Abstract（参考訳）: 人間の画像合成におけるきめ細かい制御性を達成することは、コンピュータビジョンにおける長年の課題である。 既存の方法は、主に顔合成または前頭前部体生成に焦点を合わせ、視点、ポーズ、服装、アイデンティティといった重要な要素を、アンタングルされた方法で同時に制御する能力に制限がある。 本稿では,これら4つの要因を統一された枠組み内で明示的に分離・操作する,非絡み合いで制御可能な新しい人間合成タスクを提案する。 本稿ではまず,MVHumanNetで学習した要素不絡に対するエンドツーエンド生成モデルを提案する。 しかし、MVHumanNetとWild内のデータのドメインギャップは不満足な結果をもたらし、仮想試行(VTON)データセットの探索を潜在的ソリューションとして動機付けている。 実験を通じて、VTONデータセットを付加データとして組み込むことで、エンドツーエンドモデルをトレーニングすることで、主に2つのデータセット間のデータ形式の不整合により、パフォーマンスが低下する。 両方のデータセットをよりよく活用するために、人間の画像生成を3つの逐次ステップに分解するステージバイステージフレームワークを提案する。 この構造化パイプラインにより、さまざまなステージでのデータセット利用が向上し、特に現場シナリオにおいて、制御性と一般化が大幅に向上する。 大規模な実験により、当社のステージバイステージアプローチは、視覚的忠実度と非絡み合いの品質の両方でエンドツーエンドモデルよりも優れており、現実世界のタスクにスケーラブルなソリューションを提供しています。 追加のデモはプロジェクトのページで公開されている。

関連論文リスト

• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• Controlling Human Shape and Pose in Text-to-Image Diffusion Models via Domain Adaptation [1.3654846342364308]
  本研究では、事前訓練されたテキスト・画像拡散モデルにおいて、人間の形状とポーズを条件付きで制御する手法を提案する。 これらの拡散モデルを微調整して新しい条件に適合させるには、大きなデータセットと高品質なアノテーションが必要である。 合成条件情報を分離することで画像品質を維持するドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:02:41Z)
• SYNOSIS: Image synthesis pipeline for machine vision in metal surface inspection [1.1802456989915404]
  本研究では,表面検査のための画像合成手法を詳細に記述した完全なパイプラインを提案する。 パイプラインは、加工およびサンドブラスト加工されたアルミニウム表面に対して詳細に評価されている。
  論文  参考訳（メタデータ） (2024-10-18T19:46:12Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• Multi-View Unsupervised Image Generation with Cross Attention Guidance [23.07929124170851]
  本稿では,単一カテゴリデータセット上でのポーズ条件拡散モデルの教師なし学習のための新しいパイプラインを提案する。 特定のオブジェクト部分の可視性と位置を比較することで、データセットをクラスタリングすることで、オブジェクトのポーズを識別する。 我々のモデルであるMIRAGEは、実画像における新しいビュー合成における先行研究を超越している。
  論文  参考訳（メタデータ） (2023-12-07T14:55:13Z)
• Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
  本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。 本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。 提案手法は最先端のHOI法と比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-03T07:25:57Z)
• Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement [12.857137513211866]
  本稿では、教師なしドメイン適応のためのトレーニングデータ合成と視線推定モデルからなる効果的なモデルトレーニングパイプラインを提案する。 提案したデータ合成は、単一画像の3D再構成を利用して、3次元の顔形状データセットを必要とせずに、ソース領域から頭部ポーズの範囲を広げる。 本稿では、視線関連特徴を分離し、背景アグリゲーション整合性損失を導入し、合成音源領域の特性を生かしたディエンタングリングオートエンコーダネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:15:03Z)
• StyleGAN-Human: A Data-Centric Odyssey of Human Generation [96.7080874757475]
  この研究は、データ中心の観点から、"データエンジニアリング"における複数の重要な側面を調査します。 さまざまなポーズやテクスチャを抽出した230万以上のサンプルで、大規模な人間の画像データセットを収集し、注釈付けします。 本稿では,データサイズ,データ分布,データアライメントといった,スタイルGANに基づく人為的生成のためのデータ工学における3つの重要な要素について精査する。
  論文  参考訳（メタデータ） (2022-04-25T17:55:08Z)
• Generative Partial Visual-Tactile Fused Object Clustering [81.17645983141773]
  オブジェクトクラスタリングのためのGenerative Partial Visual-Tactile Fused(GPVTF)フレームワークを提案する。 条件付きクロスモーダルクラスタリング生成逆ネットワークを開発し、一方のモダリティ条件を他方のモダリティ上で合成する。 最後に、擬似ラベルに基づく2つのKL分割損失を用いて、対応するモダリティ固有エンコーダを更新する。
  論文  参考訳（メタデータ） (2020-12-28T02:37:03Z)
• Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
  大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。 特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-21T10:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。