論文の概要: TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.09012v1
• Date: Fri, 12 Jul 2024 06:02:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 00:36:46.062075
• Title: TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models
• Title（参考訳）: TCAN:拡散モデルを用いた時間的視点誘導による人物画像のアニメーション
• Authors: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo,
• Abstract要約: TCANはポーズ駆動の人間の画像アニメーション手法であり、誤ったポーズに頑健で、時間とともに一貫性がある。 ControlNetを凍結に保つために、LoRAをUNet層に適応させ、ポーズと外観の特徴の間に潜伏した空間を調整できるようにします。
• 参考スコア（独自算出の注目度）: 36.04946047755508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/
• Abstract（参考訳）: ポーズ駆動型人像アニメーション拡散モデルは、リアルな人間のビデオ合成において顕著な能力を示した。 従来のアプローチによる有望な結果にもかかわらず、時間的に一貫したアニメーションの実現と、市販のポーズ検出器による堅牢性の確保には課題が続いている。 本稿では,ポーズ駆動型人間画像アニメーション法であるTCANについて述べる。 従来の手法とは対照的に,事前学習したControlNetを微調整なしで利用し,多数のポーズ・イメージ・ペアから取得した膨大な知識を活用する。 ControlNetを凍結に保つために、LoRAをUNet層に適応させ、ポーズと外観の特徴の間に潜伏した空間を調整できるようにします。 さらに、ControlNetに追加の時間層を導入することで、ポーズ検出器の外れ値に対する堅牢性を高める。 時間軸上のアテンションマップの解析を通じて、ポーズ情報を利用した新しい温度マップを設計し、より静的な背景を実現する。 大規模な実験により,チビのような様々なポーズを含む映像合成タスクにおいて,提案手法が期待できる結果が得られることが示された。 プロジェクトページ: https://eccv2024tcan.github.io/

関連論文リスト

• VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation [79.99551055245071]
  時間的安定性を向上するエンドツーエンドパイプラインであるVividPoseを提案する。 識別対応外見制御器は、他の外見の詳細を損なうことなく、追加の顔情報を統合する。 SMPL-Xからの高密度レンダリングマップとスパーススケルトンマップの両方を利用する幾何対応のポーズコントローラ。 VividPoseは、提案したWildデータセットに優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-28T13:18:32Z)
• Kinematic-aware Hierarchical Attention Network for Human Pose Estimation in Videos [17.831839654593452]
  従来の人間のポーズ推定手法は, 連続するフレームの特徴を活用することで, 有望な結果を示した。 ほとんどのアプローチでは、ジッターに精度を妥協し、人間の動きの時間的側面を理解しない。 キネマティックなキーポイント機能を利用するアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2022-11-29T01:46:11Z)
• Imposing Temporal Consistency on Deep Monocular Body Shape and Pose Estimation [67.23327074124855]
  本稿では,適合過程における時間的制約の統合に対するエレガントな解法を提案する。 我々は、顎ポーズ、表情、指ポーズを含む人物の形状と動きを表す一連の身体モデルのパラメーターを導出する。 本手法は,表情や手話を含む画像系列からリアルな3次元体モデルの導出を可能にする。
  論文  参考訳（メタデータ） (2022-02-07T11:11:55Z)
• Image Comes Dancing with Collaborative Parsing-Flow Video Synthesis [124.48519390371636]
  人の動きをソースから対象人物に転送することは、コンピュータビジョンやグラフィックアプリケーションにおいて大きな可能性を秘めている。 これまでは、人工的な3Dモデルに頼っていたり、ターゲットごとに個別のモデルを訓練していた。 本研究は,ソース映像から対象人物への動きを同期的に伝達する単一モデルを学習することを目的とした,より一般的な設定について研究する。
  論文  参考訳（メタデータ） (2021-10-27T03:42:41Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
  身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。 既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。 我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。 我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
  論文  参考訳（メタデータ） (2020-12-07T15:38:29Z)
• Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage Optimization [33.02708860641971]
  モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。 既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。 頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T15:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。