論文の概要: 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking
- arxiv url: http://arxiv.org/abs/2308.15316v3
- Date: Fri, 15 Dec 2023 14:40:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 19:13:06.654412
- Title: 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking
- Title（参考訳）: 3D-MuPPET:3次元マルチピジョンポーズ推定と追跡
- Authors: Urs Waldmann, Alex Hoi Hang Chan, Hemal Naik, M\'at\'e Nagy, Iain D.
Couzin, Oliver Deussen, Bastian Goldluecke, Fumihiro Kano
- Abstract要約: 複数のカメラビューを用いて対話的な速度で最大10羽のハトの3Dポーズを推定・追跡するフレームワークである3D-MuPPETを提案する。
まず第1フレームのグローバルIDに2D検出を動的にマッチングし、次に2Dトラッカーを使用して、その後のフレームにおけるビュー間のIDを維持する。
また、3D-MuPPETは自然環境からのアノテーションを伴わずに屋外でも機能することを示した。
- 参考スコア（独自算出の注目度）: 14.52333427647304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Markerless methods for animal posture tracking have been rapidly developing
recently, but frameworks and benchmarks for tracking large animal groups in 3D
are still lacking. To overcome this gap in the literature, we present
3D-MuPPET, a framework to estimate and track 3D poses of up to 10 pigeons at
interactive speed using multiple camera views. We train a pose estimator to
infer 2D keypoints and bounding boxes of multiple pigeons, then triangulate the
keypoints to 3D. For identity matching of individuals in all views, we first
dynamically match 2D detections to global identities in the first frame, then
use a 2D tracker to maintain IDs across views in subsequent frames. We achieve
comparable accuracy to a state of the art 3D pose estimator in terms of median
error and Percentage of Correct Keypoints. Additionally, we benchmark the
inference speed of 3D-MuPPET, with up to 9.45 fps in 2D and 1.89 fps in 3D, and
perform quantitative tracking evaluation, which yields encouraging results.
Finally, we showcase two novel applications for 3D-MuPPET. First, we train a
model with data of single pigeons and achieve comparable results in 2D and 3D
posture estimation for up to 5 pigeons. Second, we show that 3D-MuPPET also
works in outdoors without additional annotations from natural environments.
Both use cases simplify the domain shift to new species and environments,
largely reducing annotation effort needed for 3D posture tracking. To the best
of our knowledge we are the first to present a framework for 2D/3D animal
posture and trajectory tracking that works in both indoor and outdoor
environments for up to 10 individuals. We hope that the framework can open up
new opportunities in studying animal collective behaviour and encourages
further developments in 3D multi-animal posture tracking.
- Abstract（参考訳）: 動物の姿勢追跡のためのマーカーレス手法は近年急速に発展しているが、3dで大きな動物集団を追跡するためのフレームワークやベンチマークはまだ不足している。
このギャップを克服するために,複数のカメラビューを用いて,最大10羽のハトを対話的速度で3Dポーズを推定・追跡する3D-MuPPETを提案する。
ポーズ推定器を訓練して、2Dのキーポイントと複数のハトのバウンディングボックスを推定し、キーポイントを3Dに三角測量する。
すべてのビューにおける個人識別マッチングにおいて、まず最初に第1フレームにおけるグローバルIDに対する2D検出を動的にマッチングし、次に2Dトラッカーを使用して、その後のフレームにおけるビュー間のIDを維持する。
正解率の中央値誤差と正解率の点で, art 3次元ポーズ推定器の状態と同等の精度が得られる。
さらに,3D-MuPPETの推定速度を2Dで9.45fps,3Dで1.89fpsとベンチマークし,定量的な追跡評価を行い,その結果を得た。
最後に、3D-MuPPETの2つの新しい応用を紹介した。
まず,1羽のハトのデータを用いてモデルを訓練し,最大5羽のハトに対して2次元および3次元姿勢推定で同等の結果を得る。
第2に、3D-MuPPETは自然環境からのアノテーションを伴わずに屋外でも動作することを示す。
どちらのユースケースも、新しい種や環境へのドメインシフトを単純化し、3D姿勢追跡に必要なアノテーションの労力を大幅に削減する。
我々の知る限りでは、最大10人までの屋内および屋外環境で動作する2D/3D動物の姿勢と軌跡追跡のためのフレームワークを最初に提示する。
動物集団行動研究の新たな機会を開拓し、3D多動物姿勢追跡のさらなる発展を促すことを願っている。
関連論文リスト
- TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳（メタデータ） (2024-04-05T17:59:25Z) - 3D-POP -- An automated annotation approach to facilitate markerless
2D-3D tracking of freely moving birds with marker-based motion capture [1.1083289076967897]
本研究では,モーションキャプチャ(mo-cap)システムを用いて,動物の動きや姿勢のアノテートデータを半自動で取得する手法を提案する。
本手法は, 動物に付着するマーカーの位置に関して, 形態的キーポイントの3次元位置を抽出する手法である。
この手法を用いて、ビデオ形式で約300万の注釈付きフレーム(400万インスタンス)を持つ3D-POPという新しいデータセットを得た。
論文 参考訳（メタデータ） (2023-03-23T11:03:18Z) - CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by
Leveraging In-the-wild 2D Annotations [25.05308239278207]
一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。
カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。
また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
論文 参考訳（メタデータ） (2023-01-08T05:07:41Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳（メタデータ） (2022-04-06T03:54:06Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳（メタデータ） (2021-03-24T15:54:11Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single
Object Tracking [12.644452175343059]
3Dオブジェクト追跡の主な課題は、適切な3D候補を生成するための検索スペースを減らす方法である。
3Dプロポーザルに頼る代わりに、2D領域プロポーザルを生成し、それを3Dビューイングフラストラムに出力する。
我々は3次元フラストラム上でオンラインの精度検証を行い、洗練された点雲探索空間を生成する。
論文 参考訳（メタデータ） (2020-10-22T08:01:17Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳（メタデータ） (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。