Fugu-MT 論文翻訳(概要): Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data

論文の概要: Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data

arxiv url: http://arxiv.org/abs/2208.13944v1
Date: Tue, 30 Aug 2022 01:17:50 GMT
ステータス: 処理完了
システム内更新日: 2022-08-31 13:02:42.109379
Title: Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data
Title（参考訳）: レスキューへの事前認識合成データ:極めて限られた実データを用いた動物行動推定
Authors: Le Jiang, Shuangjun Liu, Xiangyu Bai, Sarah Ostadabbas
Abstract要約: そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
参考スコア（独自算出の注目度）: 18.06492246414256
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Accurately annotated image datasets are essential components for studying animal behaviors from their poses. Compared to the number of species we know and may exist, the existing labeled pose datasets cover only a small portion of them, while building comprehensive large-scale datasets is prohibitively expensive. Here, we present a very data efficient strategy targeted for pose estimation in quadrupeds that requires only a small amount of real images from the target animal. It is confirmed that fine-tuning a backbone network with pretrained weights on generic image datasets such as ImageNet can mitigate the high demand for target animal pose data and shorten the training time by learning the the prior knowledge of object segmentation and keypoint estimation in advance. However, when faced with serious data scarcity (i.e., $<10^2$ real images), the model performance stays unsatisfactory, particularly for limbs with considerable flexibility and several comparable parts. We therefore introduce a prior-aware synthetic animal data generation pipeline called PASyn to augment the animal pose data essential for robust pose estimation. PASyn generates a probabilistically-valid synthetic pose dataset, SynAP, through training a variational generative model on several animated 3D animal models. In addition, a style transfer strategy is utilized to blend the synthetic animal image into the real backgrounds. We evaluate the improvement made by our approach with three popular backbone networks and test their pose estimation accuracy on publicly available animal pose images as well as collected from real animals in a zoo.
Abstract（参考訳）: 正確な注釈付き画像データセットは、ポーズから動物の行動を研究する上で不可欠な要素である。私たちが知っている種数と比較すると、既存のラベル付きポーズデータセットはほんの一部しかカバーしていないが、包括的な大規模データセットの構築は必然的に高価である。そこで本研究では,ターゲット動物からの実際の画像の少ない四足歩行におけるポーズ推定を目的とした,非常にデータ効率のよい戦略を提案する。 ImageNetなどの汎用画像データセットに予めトレーニングした重み付きバックボーンネットワークを微調整することで、対象動物のポーズデータに対する高い需要を軽減し、事前のオブジェクトセグメンテーションやキーポイント推定の事前知識を学習することにより、トレーニング時間を短縮できることを確認した。しかし、深刻なデータ不足(例えば、$<10^2$実画像)に直面した場合でも、モデルの性能は満足できないままである。そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。 PASynは、いくつかのアニメーション3D動物モデルで変動生成モデルをトレーニングすることで、確率論的に有意な合成ポーズデータセットSynAPを生成する。また、合成動物画像を実際の背景にブレンドするために、スタイル転送戦略を用いる。我々は,3つの人気のある背骨ネットワークによるアプローチによる改善を評価し,動物園内の実際の動物から収集した動物ポーズ画像のポーズ推定精度を検証した。

関連論文リスト

ZebraPose: Zebra Detection and Pose Estimation using only Synthetic Data [0.2302001830524133]
3次元シミュレータで生成された合成データを用いて、ゼブラの検知と2次元ポーズ推定の両方に使用できる最初の合成データセットを得る。複数の実世界および合成データセット上で検出と2次元ポーズ推定モデルを広範囲にトレーニングし、ベンチマークする。これらの実験は、スクラッチから訓練されたモデルと合成データのみで、ゼブラの実際の画像に一貫して一般化できることを示す。
論文参考訳（メタデータ） (2024-08-20T13:28:37Z)
Learning the 3D Fauna of the Web [70.01196719128912]
3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
論文参考訳（メタデータ） (2024-01-04T18:32:48Z)
OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
論文参考訳（メタデータ） (2023-11-30T07:14:00Z)
Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape [32.11280929126699]
哺乳類の3Dポーズと形状推定のための包括的データセットであるAnimal3Dを提案する。動物3Dは、40種の哺乳類から収集された3379枚の画像、26個のキーポイントの高品質なアノテーション、特にSMALモデルのポーズと形状パラメータで構成されている。 The Animal3D data based on the Animal3D dataset, we benchmark representative shape and pose Estimation model at (1) 教師付き学習, (2) 合成画像から実写への変換, 3) 微調整された人間のポーズと形状推定モデル。
論文参考訳（メタデータ） (2023-08-22T18:57:07Z)
Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior [0.7499722271664145]
そこで本稿では, 合成合成経験的ポーズを用いた2次元マウスのポーズ推定手法を提案する。本手法はマウスの四肢構造に適応し,合成3次元マウスモデルから2次元ポーズの経験的先行を生成できる。新しいマウスビデオデータセットの実験では,ポーズ予測を手作業で得られた真実と比較することにより,提案手法の性能を評価する。
論文参考訳（メタデータ） (2023-07-25T09:31:55Z)
Pose Recognition in the Wild: Animal pose estimation using Agglomerative Clustering and Contrastive Learning [0.0]
我々は,複数の動物のポーズを非ラベルデータから認識できる新しいアーキテクチャを提案する。私たちは、下層の解剖学ではなく、その視覚的行動に基づいて、動物の身体の部位を区別することができます。
論文参考訳（メタデータ） (2021-11-16T07:00:31Z)
SyDog: A Synthetic Dog Dataset for Improved 2D Pose Estimation [3.411873646414169]
SyDogは、地面に真実のポーズとバウンディングボックス座標を含む犬の合成データセットである。我々は、SyDogで訓練されたポーズ推定モデルが、実データで純粋に訓練されたモデルよりも優れたパフォーマンスを実現することを実証した。
論文参考訳（メタデータ） (2021-07-31T14:34:40Z)
Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
論文参考訳（メタデータ） (2020-06-14T03:09:52Z)
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文参考訳（メタデータ） (2020-04-09T07:55:01Z)
Transferring Dense Pose to Proximal Animal Classes [83.84439508978126]
より一般的な対象検出器やセグメンタなどと同様に、密集したポーズ認識に存在する知識を、他のクラスにおける密集したポーズ認識の問題に移すことが可能であることを示す。我々は、人間と幾何学的に整合した新しい動物のためのDensePoseモデルを確立することでこれを行う。また、クラスチンパンジーにDensePoseの方法でラベル付けされた2つのベンチマークデータセットを導入し、アプローチを評価するためにそれらを使用します。
論文参考訳（メタデータ） (2020-02-28T21:43:53Z)
Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals [56.65062746564091]
我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
論文参考訳（メタデータ） (2020-01-23T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。