論文の概要: Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior

• arxiv url: http://arxiv.org/abs/2307.13361v1
• Date: Tue, 25 Jul 2023 09:31:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 17:44:46.695127
• Title: Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior
• Title（参考訳）: マウスとポーズ:ラベルなしデータと合成前駆データから2dマウスポーズ推定
• Authors: Jose Sosa, Sharn Perry, Jane Alty, and David Hogg
• Abstract要約: そこで本稿では, 合成合成経験的ポーズを用いた2次元マウスのポーズ推定手法を提案する。 本手法はマウスの四肢構造に適応し,合成3次元マウスモデルから2次元ポーズの経験的先行を生成できる。 新しいマウスビデオデータセットの実験では,ポーズ予測を手作業で得られた真実と比較することにより,提案手法の性能を評価する。
• 参考スコア（独自算出の注目度）: 0.7499722271664145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous fields, such as ecology, biology, and neuroscience, use animal recordings to track and measure animal behaviour. Over time, a significant volume of such data has been produced, but some computer vision techniques cannot explore it due to the lack of annotations. To address this, we propose an approach for estimating 2D mouse body pose from unlabelled images using a synthetically generated empirical pose prior. Our proposal is based on a recent self-supervised method for estimating 2D human pose that uses single images and a set of unpaired typical 2D poses within a GAN framework. We adapt this method to the limb structure of the mouse and generate the empirical prior of 2D poses from a synthetic 3D mouse model, thereby avoiding manual annotation. In experiments on a new mouse video dataset, we evaluate the performance of the approach by comparing pose predictions to a manually obtained ground truth. We also compare predictions with those from a supervised state-of-the-art method for animal pose estimation. The latter evaluation indicates promising results despite the lack of paired training data. Finally, qualitative results using a dataset of horse images show the potential of the setting to adapt to other animal species.
• Abstract（参考訳）: 生態学、生物学、神経科学など多くの分野において、動物の行動の追跡と測定に動物記録を用いる。 時間が経つにつれて、このような膨大な量のデータが生成されてきたが、一部のコンピュータビジョン技術ではアノテーションの欠如により探索できない。 そこで本研究では, 合成した経験的ポーズを用いて, ラベルなし画像から2dマウスのポーズを推定する手法を提案する。 提案手法は,GANフレームワーク内において,単一の画像と不対の典型的な2次元ポーズのセットを用いて2次元ポーズを推定する。 本手法はマウスの肢構造に適応し, 合成3次元マウスモデルから2次元ポーズの経験的先行を生成できるので, 手動アノテーションを回避できる。 新しいマウスビデオデータセットの実験では,ポーズ予測を手作業で得られた真実と比較することにより,提案手法の性能を評価する。 また,動物のポーズ推定のための教師付き最先端手法と予測を比較した。 後者の評価は、ペアデータがないにもかかわらず有望な結果を示す。 最後に、馬の画像のデータセットを用いた定性的な結果は、設定が他の動物種に適応する可能性を示している。

関連論文リスト

• ZebraPose: Zebra Detection and Pose Estimation using only Synthetic Data [0.2302001830524133]
  3次元シミュレータで生成された合成データを用いて、ゼブラの検知と2次元ポーズ推定の両方に使用できる最初の合成データセットを得る。 複数の実世界および合成データセット上で検出と2次元ポーズ推定モデルを広範囲にトレーニングし、ベンチマークする。 これらの実験は、スクラッチから訓練されたモデルと合成データのみで、ゼブラの実際の画像に一貫して一般化できることを示す。
  論文  参考訳（メタデータ） (2024-08-20T13:28:37Z)
• PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions [57.871692507044344]
  ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。 現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。 実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T14:40:17Z)
• ManiPose: Manifold-Constrained Multi-Hypothesis 3D Human Pose Estimation [54.86887812687023]
  ほとんどの3D-HPE法は回帰モデルに依存しており、入力と出力の1対1のマッピングを前提としている。 提案するManiPoseは,2次元入力毎に複数の候補3次元ポーズを提案可能な,新しい多様体制約型マルチハイポテーシスモデルである。 従来のマルチハイブリッドアプローチとは異なり、我々のソリューションは完全に教師付きであり、複雑な生成モデルに依存しない。
  論文  参考訳（メタデータ） (2023-12-11T13:50:10Z)
• Self-supervised 3D Human Pose Estimation from a Single Image [1.0878040851638]
  本研究では,1枚の画像から3次元人体ポーズを予測する自己教師型手法を提案する。 予測ネットワークは、典型的なポーズの人物と、未ペアの2Dポーズのセットを描写した未ラベル画像のデータセットから訓練される。
  論文  参考訳（メタデータ） (2023-04-05T10:26:21Z)
• Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data [18.06492246414256]
  そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。 そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
  論文  参考訳（メタデータ） (2022-08-30T01:17:50Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals [56.65062746564091]
  我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。 我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。 ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-01-23T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。