論文の概要: Invariant Representation Learning for Infant Pose Estimation with Small
Data
- arxiv url: http://arxiv.org/abs/2010.06100v5
- Date: Mon, 1 Nov 2021 17:22:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 23:58:23.198337
- Title: Invariant Representation Learning for Infant Pose Estimation with Small
Data
- Title(参考訳): 小データを用いた幼児ポーズ推定のための不変表現学習
- Authors: Xiaofei Huang, Nihang Fu, Shuangjun Liu, Sarah Ostadabbas
- Abstract要約: 合成乳児ポーズと合成乳幼児ポーズとを併用したハイブリッド合成乳幼児ポーズデータセットを作成した。
我々は,SyRIPデータセットでトレーニングしたモデルと同一ネットワーク構造を用いたアブレーション調査を行い,他の公立幼児ポーズデータセットでトレーニングしたモデルよりも顕著に改善したことを示した。
最新のDarkPoseモデルを用いた幼児のポーズ推定では、平均的精度(mAP)は93.6である。
- 参考スコア(独自算出の注目度): 14.91506452479778
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Infant motion analysis is a topic with critical importance in early childhood
development studies. However, while the applications of human pose estimation
have become more and more broad, models trained on large-scale adult pose
datasets are barely successful in estimating infant poses due to the
significant differences in their body ratio and the versatility of their poses.
Moreover, the privacy and security considerations hinder the availability of
adequate infant pose data required for training of a robust model from scratch.
To address this problem, this paper presents (1) building and publicly
releasing a hybrid synthetic and real infant pose (SyRIP) dataset with small
yet diverse real infant images as well as generated synthetic infant poses and
(2) a multi-stage invariant representation learning strategy that could
transfer the knowledge from the adjacent domains of adult poses and synthetic
infant images into our fine-tuned domain-adapted infant pose (FiDIP) estimation
model. In our ablation study, with identical network structure, models trained
on SyRIP dataset show noticeable improvement over the ones trained on the only
other public infant pose datasets. Integrated with pose estimation backbone
networks with varying complexity, FiDIP performs consistently better than the
fine-tuned versions of those models. One of our best infant pose estimation
performers on the state-of-the-art DarkPose model shows mean average precision
(mAP) of 93.6.
- Abstract(参考訳): 幼児の運動分析は、幼児の発達研究において重要な話題である。
しかしながら、人間のポーズ推定の応用はますます広くなってきているが、大規模成人のポーズデータセットでトレーニングされたモデルは、体比とポーズの多用途性が著しく異なるため、幼児のポーズの推定にほとんど成功していない。
さらに、プライバシとセキュリティの考慮事項は、堅牢なモデルのトレーニングに必要な適切な幼児ポーズデータの提供をゼロから妨げている。
そこで本稿では,1) 幼児用合成画像と, 生成した合成幼児用画像とを組み合わせたハイブリッド合成・実幼児用画像(syrip)データセットの構築と公開を行い, (2) 隣接する成人用画像と合成幼児用画像の知識を, 微調整型ドメイン対応幼児用画像(fidip)推定モデルに転送できる多段階不変表現学習戦略を提案する。
我々は,SyRIPデータセットでトレーニングされたモデルと同一のネットワーク構造を用いたアブレーション研究を行い,他の公立幼児ポーズデータセットでトレーニングされたモデルよりも顕著な改善を示した。
複雑度が異なるポーズ推定バックボーンネットワークと統合されたfidipは、これらのモデルの微調整バージョンよりも一貫してパフォーマンスが良い。
最新のDarkPoseモデルを用いた幼児のポーズ推定では、平均的精度(mAP)は93.6である。
関連論文リスト
- Efficient Domain Adaptation via Generative Prior for 3D Infant Pose
Estimation [29.037799937729687]
3Dの人間のポーズ推定は近年目覚ましい発展を遂げていますが、骨の長さが異なり、データも限られている幼児に焦点を当てた研究はごくわずかです。
本稿では,SyRIPデータセットで43.6mm,MINI-RGBDデータセットで21.2mmのMPJPE性能が得られることを示す。
また,本手法のZeDO-iは,少数のデータしか与えられなくても,効率的なドメイン適応が可能であることを証明した。
論文 参考訳(メタデータ) (2023-11-17T20:49:37Z) - Understanding Pose and Appearance Disentanglement in 3D Human Pose
Estimation [72.50214227616728]
ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。
我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。
我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
論文 参考訳(メタデータ) (2023-09-20T22:22:21Z) - TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose
Estimation [55.94900327396771]
合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。
実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。
画素完全合成データからポーズ推定を学習する。
論文 参考訳(メタデータ) (2022-12-25T13:36:32Z) - Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with
Very Limited Real Data [18.06492246414256]
そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。
ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。
そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
論文 参考訳(メタデータ) (2022-08-30T01:17:50Z) - AggPose: Deep Aggregation Vision Transformer for Infant Pose Estimation [6.9000851935487075]
幼児のポーズデータセットと人間のポーズ推定のためのDeep Aggregation Vision Transformerを提案する。
AggPoseは、畳み込み操作を使わずに、早く訓練されたフルトランスフォーマーフレームワークである。
AggPose は,様々な解像度のマルチスケール特徴を効果的に学習し,幼児のポーズ推定の性能を大幅に向上できることを示した。
論文 参考訳(メタデータ) (2022-05-11T05:34:14Z) - Unsupervised Domain Adaptation Learning for Hierarchical Infant Pose
Recognition with Synthetic Data [28.729049747477085]
幼児の画像を入力とし、粗いポーズラベルと細かなポーズラベルを予測するCNNベースのモデルを提案する。
実験の結果,提案手法は,合成および実世界のデータセットの分布を著しく整合させることができることがわかった。
論文 参考訳(メタデータ) (2022-05-04T04:59:26Z) - Unsupervised Human Pose Estimation through Transforming Shape Templates [2.729524133721473]
本研究では,成人および乳幼児のポーズ推定を教師なしで学習するための新しい手法を提案する。
成人と幼児を含む2つの異なるデータセットに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2021-05-10T07:15:56Z) - FixMyPose: Pose Correctional Captioning and Retrieval [67.20888060019028]
本稿では,自動ポーズ修正システムに対応する新しいキャプションデータセットfixmyposeを提案する。
我々は「現在の」ポーズを「ターゲット」ポーズのように見えるように修正する記述を収集する。
MLバイアスを避けるため、さまざまな階層を持つキャラクタ間のバランスを維持します。
論文 参考訳(メタデータ) (2021-04-04T21:45:44Z) - Unsupervised 3D Human Pose Representation with Viewpoint and Pose
Disentanglement [63.853412753242615]
優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。
本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。
提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-07-14T14:25:22Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Deformation-aware Unpaired Image Translation for Pose Estimation on
Laboratory Animals [56.65062746564091]
我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。
我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。
ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
論文 参考訳(メタデータ) (2020-01-23T15:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。