論文の概要: 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking
- arxiv url: http://arxiv.org/abs/2308.15316v1
- Date: Tue, 29 Aug 2023 14:02:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 13:54:41.098958
- Title: 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking
- Title（参考訳）: 3D-MuPPET:3次元マルチピジョンポーズ推定と追跡
- Authors: Urs Waldmann, Alex Hoi Hang Chan, Hemal Naik, M\'at\'e Nagy, Iain D.
Couzin, Oliver Deussen, Bastian Goldluecke, Fumihiro Kano
- Abstract要約: 3D-MuPPETは,対話的な速度で最大10羽のハトの3Dポーズをマルチビューで推定・追跡するフレームワークである。
対応マッチングでは,まず第1フレームのグローバルIDに2D検出を動的にマッチングし,次に2Dトラッカーを用いて後続のフレームでの対応性を維持する。
また、1羽のハトのデータで訓練されたモデルが、複数のハトを含むデータに匹敵する結果をもたらすという、新しいユースケースも紹介する。
- 参考スコア（独自算出の注目度）: 14.52333427647304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Markerless methods for animal posture tracking have been developing recently,
but frameworks and benchmarks for tracking large animal groups in 3D are still
lacking. To overcome this gap in the literature, we present 3D-MuPPET, a
framework to estimate and track 3D poses of up to 10 pigeons at interactive
speed using multiple-views. We train a pose estimator to infer 2D keypoints and
bounding boxes of multiple pigeons, then triangulate the keypoints to 3D. For
correspondence matching, we first dynamically match 2D detections to global
identities in the first frame, then use a 2D tracker to maintain
correspondences accross views in subsequent frames. We achieve comparable
accuracy to a state of the art 3D pose estimator for Root Mean Square Error
(RMSE) and Percentage of Correct Keypoints (PCK). We also showcase a novel use
case where our model trained with data of single pigeons provides comparable
results on data containing multiple pigeons. This can simplify the domain shift
to new species because annotating single animal data is less labour intensive
than multi-animal data. Additionally, we benchmark the inference speed of
3D-MuPPET, with up to 10 fps in 2D and 1.5 fps in 3D, and perform quantitative
tracking evaluation, which yields encouraging results. Finally, we show that
3D-MuPPET also works in natural environments without model fine-tuning on
additional annotations. To the best of our knowledge we are the first to
present a framework for 2D/3D posture and trajectory tracking that works in
both indoor and outdoor environments.
- Abstract（参考訳）: 動物の姿勢追跡のためのマーカーレス手法は近年開発が進んでいるが、3dで大きな動物集団を追跡するためのフレームワークやベンチマークはまだ不足している。
このギャップを克服するため、3D-MuPPETは最大10羽のハトをマルチビューで対話的に3Dポーズを推定・追跡するフレームワークである。
ポーズ推定器を訓練して、2Dのキーポイントと複数のハトのバウンディングボックスを推定し、キーポイントを3Dに三角測量する。
対応マッチングでは,まず第1フレームのグローバルIDに2D検出を動的にマッチングし,次に2Dトラッカーを用いて後続のフレームでの対応性を維持する。
我々は,根平均二乗誤差 (rmse) と正解率 (pck) に対する art 3d ポーズ推定器の状態と同等の精度を達成する。
また,単一ハトのデータでトレーニングしたモデルが,複数のハトを含むデータに対する比較結果を提供するという,新たなユースケースも紹介する。
これは、単一動物データへの注釈がマルチ動物データよりも労働集約性が低いため、新種へのドメインシフトを単純化することができる。
さらに,3D-MuPPETの推定速度を2Dで最大10fps,3Dで1.5fpsとベンチマークし,定量的な追跡評価を行い,その結果を得た。
最後に、3D-MuPPETは追加アノテーションの微調整をせずに自然環境でも動作することを示す。
我々の知る限りでは、室内と屋外の両方で機能する2D/3D姿勢と軌道追跡のためのフレームワークを最初に提示する。
関連論文リスト
- TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳（メタデータ） (2024-04-05T17:59:25Z) - 3D-POP -- An automated annotation approach to facilitate markerless
2D-3D tracking of freely moving birds with marker-based motion capture [1.1083289076967897]
本研究では,モーションキャプチャ(mo-cap)システムを用いて,動物の動きや姿勢のアノテートデータを半自動で取得する手法を提案する。
本手法は, 動物に付着するマーカーの位置に関して, 形態的キーポイントの3次元位置を抽出する手法である。
この手法を用いて、ビデオ形式で約300万の注釈付きフレーム(400万インスタンス)を持つ3D-POPという新しいデータセットを得た。
論文 参考訳（メタデータ） (2023-03-23T11:03:18Z) - CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by
Leveraging In-the-wild 2D Annotations [25.05308239278207]
一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。
カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。
また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
論文 参考訳（メタデータ） (2023-01-08T05:07:41Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳（メタデータ） (2022-04-06T03:54:06Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳（メタデータ） (2021-03-24T15:54:11Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single
Object Tracking [12.644452175343059]
3Dオブジェクト追跡の主な課題は、適切な3D候補を生成するための検索スペースを減らす方法である。
3Dプロポーザルに頼る代わりに、2D領域プロポーザルを生成し、それを3Dビューイングフラストラムに出力する。
我々は3次元フラストラム上でオンラインの精度検証を行い、洗練された点雲探索空間を生成する。
論文 参考訳（メタデータ） (2020-10-22T08:01:17Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳（メタデータ） (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。