論文の概要: GRPose: Learning Graph Relations for Human Image Generation with Pose Priors
- arxiv url: http://arxiv.org/abs/2408.16540v2
- Date: Sun, 22 Dec 2024 11:42:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 19:21:25.887367
- Title: GRPose: Learning Graph Relations for Human Image Generation with Pose Priors
- Title（参考訳）: GRPose: Pose Priorsを用いた人体画像生成のためのグラフ関係学習
- Authors: Xiangchen Yin, Donglin Di, Lei Fan, Hao Li, Wei Chen, Xiaofei Gou, Yang Song, Xiao Sun, Xun Yang,
- Abstract要約: 人間の画像生成のための制御情報を提供するために,ポーズ前のグラフ関係を考察する枠組みを提案する。
主な考え方は、ポーズ先行と拡散モデルの潜在表現の間のグラフ位相構造を確立することである。
事前訓練されたポーズ推定ネットワークに基づいてポーズ知覚損失を導入し、ポーズ差を最小限にする。
- 参考スコア（独自算出の注目度）: 21.91374799527015
- License:
- Abstract: Recent methods using diffusion models have made significant progress in human image generation with various control signals such as pose priors. However, existing efforts are still struggling to generate high-quality images with consistent pose alignment, resulting in unsatisfactory output. In this paper, we propose a framework that delves into the graph relations of pose priors to provide control information for human image generation. The main idea is to establish a graph topological structure between the pose priors and latent representation of diffusion models to capture the intrinsic associations between different pose parts. A Progressive Graph Integrator (PGI) is designed to learn the spatial relationships of the pose priors with the graph structure, adopting a hierarchical strategy within an Adapter to gradually propagate information across different pose parts. Besides, a pose perception loss is introduced based on a pretrained pose estimation network to minimize the pose differences. Extensive qualitative and quantitative experiments conducted on the Human-Art and LAION-Human datasets clearly demonstrate that our model can achieve significant performance improvement over the latest benchmark models. The code is available at \url{https://xiangchenyin.github.io/GRPose/}.
- Abstract（参考訳）: 最近の拡散モデルを用いた手法は、ポーズ前のような様々な制御信号を用いた人間の画像生成において顕著な進歩を遂げている。
しかし、既存の努力は、一貫性のあるポーズアライメントを備えた高品質な画像を生成するのに苦戦している。
本稿では,人間の画像生成のための制御情報を提供するために,ポーズ前のグラフ関係を考察する枠組みを提案する。
主な考え方は、ポーズ先と拡散モデルの潜在表現の間のグラフ位相構造を確立して、異なるポーズ部分間の固有の関連を捉えることである。
プログレッシブグラフ積分器(PGI)は、ポーズ先行とグラフ構造との空間的関係を学習し、アダプタ内の階層的戦略を採用して、異なるポーズ部分間で情報を徐々に伝播させるように設計されている。
また、事前訓練されたポーズ推定ネットワークに基づいてポーズ知覚損失を導入し、ポーズ差を最小限にする。
また,Human-ArtデータセットとLAION-Humanデータセットを用いた大規模定性的および定量的実験により,最新のベンチマークモデルと比較して,我々のモデルが大幅な性能向上を達成できることが明らかとなった。
コードは \url{https://xiangchenyin.github.io/GRPose/} で公開されている。
関連論文リスト
- PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。
我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。
画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-10-29T11:49:39Z) - Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。
まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。
これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
論文 参考訳（メタデータ） (2024-10-26T12:00:33Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳（メタデータ） (2021-12-08T21:39:00Z) - MSR-GCN: Multi-Scale Residual Graph Convolution Networks for Human
Motion Prediction [34.565986275769745]
本稿では,人間のポーズ予測のためのマルチスケール残差グラフ畳み込みネットワーク(MSR-GCN)を提案する。
提案手法は、Human3.6MデータセットとCMU Mocapデータセットの2つの標準ベンチマークデータセットで評価される。
論文 参考訳（メタデータ） (2021-08-16T15:26:23Z) - Conditional Directed Graph Convolution for 3D Human Pose Estimation [23.376538132362498]
グラフ畳み込みネットワークは、人間の骨格を非方向グラフとして表現することで、人間のポーズ推定を大幅に改善した。
本稿では,人間の骨格をノードとして,骨を親関節から子関節へ向けたエッジとして有向グラフとして表現することを提案する。
論文 参考訳（メタデータ） (2021-07-16T09:50:40Z) - Learning Dynamics via Graph Neural Networks for Human Pose Estimation
and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。
具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。
PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T16:36:50Z) - 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。
我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
論文 参考訳（メタデータ） (2021-05-21T14:41:31Z) - Structure-aware Person Image Generation with Pose Decomposition and
Semantic Correlation [29.727033198797518]
高品質な人物画像生成のための構造認識フローベース手法を提案する。
人体を異なる意味部分に分解し、異なるネットワークを適用してこれらの部分のフロー場を別々に予測する。
提案手法は,ポーズの相違が大きい場合に高品質な結果を生成することができ,定性比較と定量的比較の両方において最先端の手法より優れる。
論文 参考訳（メタデータ） (2021-02-05T03:07:57Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳（メタデータ） (2020-04-09T07:55:01Z) - MirrorNet: A Deep Bayesian Approach to Reflective 2D Pose Estimation
from Human Images [42.27703025887059]
標準的な教師ありアプローチの大きな問題は、しばしば解剖学的に不可解なポーズをもたらすことである。
ポーズアノテーションを使わずに画像を効果的に活用できる半教師付き手法を提案する。
実験の結果,提案した反射型アーキテクチャが解剖学的に妥当なポーズを推定できることが示唆された。
論文 参考訳（メタデータ） (2020-04-08T05:02:48Z) - RePose: Learning Deep Kinematic Priors for Fast Human Pose Estimation [17.0630180888369]
本稿では,1つの画像から人間のポーズ推定を行うための,効率的で軽量なモデルを提案する。
本モデルは,様々な最先端手法のパラメータ数と計算コストのごく一部で競合する結果を得るように設計されている。
論文 参考訳（メタデータ） (2020-02-10T16:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。