論文の概要: NAPA: Neural Art Human Pose Amplifier
- arxiv url: http://arxiv.org/abs/2012.08501v1
- Date: Tue, 15 Dec 2020 18:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:19:49.239305
- Title: NAPA: Neural Art Human Pose Amplifier
- Title(参考訳): napa:ニューラルネットワークによる人間のポーズアンプ
- Authors: Qingfu Wan, Oliver Lu
- Abstract要約: ポーズ回帰にニューラルスタイル転送を用いるエンドツーエンドシステムの設計を行う。
ポーズ回帰のために,ポーズが持ち上げられる2次元骨マップを提案する。
実世界の人間のデータセットにモデルを一般化し、その可能性を汎用ポーズモデルとして示します。
- 参考スコア(独自算出の注目度): 2.698962802411962
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This is the project report for CSCI-GA.2271-001. We target human pose
estimation in artistic images. For this goal, we design an end-to-end system
that uses neural style transfer for pose regression. We collect a 277-style set
for arbitrary style transfer and build an artistic 281-image test set. We
directly run pose regression on the test set and show promising results. For
pose regression, we propose a 2d-induced bone map from which pose is lifted. To
help such a lifting, we additionally annotate the pseudo 3d labels of the full
in-the-wild MPII dataset. Further, we append another style transfer as self
supervision to improve 2d. We perform extensive ablation studies to analyze the
introduced features. We also compare end-to-end with per-style training and
allude to the tradeoff between style transfer and pose regression. Lastly, we
generalize our model to the real-world human dataset and show its potentiality
as a generic pose model. We explain the theoretical foundation in Appendix. We
release code at https://github.com/strawberryfg/NAPA-NST-HPE, data, and video.
- Abstract(参考訳): これはCSCI-GA.2271-001のプロジェクトレポートである。
芸術画像における人間のポーズ推定を対象とする。
この目的のために,ポーズ回帰にニューラルスタイル転送を用いるエンドツーエンドシステムの設計を行う。
任意のスタイル転送のための277スタイルのセットを収集し,芸術的281画像テストセットを構築した。
テストセットで直接ポーズ回帰を実行し、有望な結果を示します。
ポーズ回帰のために,ポーズが持ち上げられる2次元骨マップを提案する。
このようなリフティングを支援するために,本論文では,完全な内蔵MPIIデータセットの擬似3dラベルを注釈付けする。
さらに、2dを改善するために、別のスタイル転送を自己監督として追加する。
紹介した特徴を分析するために広範なアブレーション研究を行う。
また、エンドツーエンドとスタイル毎のトレーニングを比較し、スタイル転送とポーズ回帰のトレードオフについて説明する。
最後に、我々のモデルを現実世界の人間のデータセットに一般化し、その可能性を一般的なポーズモデルとして示す。
我々はAppendixの理論的基礎を説明します。
https://github.com/strawberryfg/NAPA-NST-HPE、データ、ビデオでコードをリリースします。
関連論文リスト
- GLA-GCN: Global-local Adaptive Graph Convolutional Network for 3D Human
Pose Estimation from Monocular Video [33.801470193414325]
この研究は、地上の真実データを通して3Dのポーズリフトを改善することに焦点を当てている。
本研究では,グローバルローカル適応グラフ畳み込みネットワーク(GLA-GCN)を提案する。
GLA-GCNは, 基礎的真理2Dで実装され, 最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2023-07-12T00:13:04Z) - On the Benefits of 3D Pose and Tracking for Human Action Recognition [77.07134833715273]
動作認識のためのトラッキングと3Dポーズの利点を示す。
トラックレット上での3次元ポーズと文脈的外観を融合させることにより,ラグランジアン行動認識モデルを提案する。
提案手法は,AVA v2.2データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2023-04-03T17:59:49Z) - Learning Dynamics via Graph Neural Networks for Human Pose Estimation
and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。
具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。
PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文 参考訳(メタデータ) (2021-06-07T16:36:50Z) - ProtoRes: Proto-Residual Architecture for Deep Modeling of Human Pose [6.9997407868865364]
我々はスパースと可変ユーザ入力に基づいて、フル静的な人間のポーズを構築する問題に取り組む。
本稿では,残余接続と部分的に指定されたポーズのプロトタイプエンコーディングを組み合わせて,新しい完全ポーズを生成するニューラルアーキテクチャを提案する。
リアルタイム3D開発プラットフォームであるUnityにニューラルネットワークを統合するためのユーザインターフェースを開発しました。
論文 参考訳(メタデータ) (2021-06-03T16:56:58Z) - 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。
我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
論文 参考訳(メタデータ) (2021-05-21T14:41:31Z) - FixMyPose: Pose Correctional Captioning and Retrieval [67.20888060019028]
本稿では,自動ポーズ修正システムに対応する新しいキャプションデータセットfixmyposeを提案する。
我々は「現在の」ポーズを「ターゲット」ポーズのように見えるように修正する記述を収集する。
MLバイアスを避けるため、さまざまな階層を持つキャラクタ間のバランスを維持します。
論文 参考訳(メタデータ) (2021-04-04T21:45:44Z) - Liquid Warping GAN with Attention: A Unified Framework for Human Image
Synthesis [58.05389586712485]
我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。
本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。
我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
論文 参考訳(メタデータ) (2020-11-18T02:57:47Z) - Unsupervised 3D Human Pose Representation with Viewpoint and Pose
Disentanglement [63.853412753242615]
優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。
本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。
提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-07-14T14:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。