論文の概要: Consistent Human Image and Video Generation with Spatially Conditioned Diffusion

• arxiv url: http://arxiv.org/abs/2412.14531v1
• Date: Thu, 19 Dec 2024 05:02:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:27.532071
• Title: Consistent Human Image and Video Generation with Spatially Conditioned Diffusion
• Title（参考訳）: 空間的条件付き拡散による連続した人間画像と映像生成
• Authors: Mingdeng Cao, Chong Mou, Ziyang Yuan, Xintao Wang, Zhaoyang Zhang, Ying Shan, Yinqiang Zheng,
• Abstract要約: 一貫性のある人中心画像とビデオ合成は、所定の参照画像との外観整合性を維持しつつ、新しいポーズを持つ画像を生成することを目的としている。 我々は,課題を空間条件付き塗装問題とみなし,対象画像をインペイントして参照との外観整合性を維持する。 このアプローチにより、参照機能により、統一された認知ネットワーク内でのポーズ準拠のターゲットの生成をガイドすることができる。
• 参考スコア（独自算出の注目度）: 82.4097906779699
• License:
• Abstract: Consistent human-centric image and video synthesis aims to generate images or videos with new poses while preserving appearance consistency with a given reference image, which is crucial for low-cost visual content creation. Recent advances based on diffusion models typically rely on separate networks for reference appearance feature extraction and target visual generation, leading to inconsistent domain gaps between references and targets. In this paper, we frame the task as a spatially-conditioned inpainting problem, where the target image is inpainted to maintain appearance consistency with the reference. This approach enables the reference features to guide the generation of pose-compliant targets within a unified denoising network, thereby mitigating domain gaps. Additionally, to better maintain the reference appearance information, we impose a causal feature interaction framework, in which reference features can only query from themselves, while target features can query appearance information from both the reference and the target. To further enhance computational efficiency and flexibility, in practical implementation, we decompose the spatially-conditioned generation process into two stages: reference appearance extraction and conditioned target generation. Both stages share a single denoising network, with interactions restricted to self-attention layers. This proposed method ensures flexible control over the appearance of generated human images and videos. By fine-tuning existing base diffusion models on human video data, our method demonstrates strong generalization to unseen human identities and poses without requiring additional per-instance fine-tuning. Experimental results validate the effectiveness of our approach, showing competitive performance compared to existing methods for consistent human image and video synthesis.
• Abstract（参考訳）: 一貫性のある人間中心の画像とビデオ合成は、低コストのビジュアルコンテンツ作成に不可欠である、所定の参照画像との外観整合性を維持しながら、新しいポーズで画像やビデオを生成することを目的としている。 拡散モデルに基づく最近の進歩は、典型的には参照特徴抽出とターゲット視覚生成のための別々のネットワークに依存しており、参照とターゲットの間には矛盾した領域ギャップが生じる。 本稿では,この課題を空間条件付き塗装問題とみなし,対象画像をインペイントして参照との外観整合性を維持する。 このアプローチにより、参照機能により、統合された denoising ネットワーク内で、ポーズ準拠のターゲットの生成をガイドし、ドメインギャップを軽減できる。 さらに、参照外観情報をよりよく維持するために、参照特徴が自身からのみクエリできる因果的特徴相互作用フレームワークを課し、ターゲット特徴が参照とターゲットの両方から外観情報をクエリすることができる。 計算効率と柔軟性をさらに高めるため,空間条件付き生成プロセスは,参照外見抽出と条件付きターゲット生成の2段階に分割する。 どちらの段階も1つの認知ネットワークを共有しており、相互作用は自己認識層に限られている。 提案手法は、生成した人間の画像や映像の外観を柔軟に制御する。 提案手法は,人間の映像データに基づく既存拡散モデルの微調整により,より詳細な微調整を必要とせず,人間の身元やポーズに強い一般化を示す。 提案手法の有効性を実験的に検証し,既存の画像・ビデオ合成手法と比較して競争力のある性能を示した。

関連論文リスト

• Enhancing Conditional Image Generation with Explainable Latent Space Manipulation [0.0]
  本稿では,条件付きプロンプトに固執しながら,参照画像への忠実性を実現するための新しいアプローチを提案する。 そこで我々は,クロスアテンション・レイヤのクロスアテンション・マップと遅延ベクトルの勾配を解析した。 この情報を用いて,被写体を保存しつつ,参照画像の特徴をシームレスに統合し,特定のタイミングでマスクを作成する。
  論文  参考訳（メタデータ） (2024-08-29T03:12:04Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• RefDrop: Controllable Consistency in Image or Video Generation via Reference Feature Guidance [22.326405355520176]
  RefDropを使えば、ユーザーは直接的かつ正確な方法で参照コンテキストの影響を制御できる。 また,本手法は,複数の主題を一貫した生成など,より興味深い応用を可能にする。
  論文  参考訳（メタデータ） (2024-05-27T21:23:20Z)
• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• Multi-View Unsupervised Image Generation with Cross Attention Guidance [23.07929124170851]
  本稿では,単一カテゴリデータセット上でのポーズ条件拡散モデルの教師なし学習のための新しいパイプラインを提案する。 特定のオブジェクト部分の可視性と位置を比較することで、データセットをクラスタリングすることで、オブジェクトのポーズを識別する。 我々のモデルであるMIRAGEは、実画像における新しいビュー合成における先行研究を超越している。
  論文  参考訳（メタデータ） (2023-12-07T14:55:13Z)
• Layered Rendering Diffusion Model for Controllable Zero-Shot Image Synthesis [15.76266032768078]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 まず、摂動分布の基本的な空間的キューとして視覚誘導を導入する。 本稿では,複数のレイヤからなる画像レンダリングプロセスを構築する汎用フレームワークであるLayered Rendering Diffusion (LRDiff)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• DiffPose: SpatioTemporal Diffusion Model for Video-Based Human Pose Estimation [16.32910684198013]
  本稿では、条件付きヒートマップ生成問題として、ビデオに基づく人間のポーズ推定を定式化する新しい拡散アーキテクチャDiffPoseを提案する。 ポーズ推定タスクにおけるDiffPoseの特徴として,(i)複数のポーズ推定を組み合わせて予測精度を向上させる能力,(ii)モデルを再訓練することなく特徴改善のための反復的なステップ数を調整する能力,の2点を挙げる。
  論文  参考訳（メタデータ） (2023-07-31T14:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。