論文の概要: APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking
- arxiv url: http://arxiv.org/abs/2206.05683v1
- Date: Sun, 12 Jun 2022 07:18:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 15:30:08.971601
- Title: APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking
- Title(参考訳): APT-36K:動物行動推定と追跡のための大規模ベンチマーク
- Authors: Yuxiang Yang, Junjie Yang, Yufei Xu, Jing Zhang, Long Lan, Dacheng Tao
- Abstract要約: APT-36Kは動物のポーズ推定と追跡のための最初の大規模ベンチマークである。
このビデオは、30種の動物から収集・フィルタリングされた2,400のビデオクリップと、各ビデオの15フレームで構成されており、合計で36,000フレームとなっている。
我々は,(1)ドメイン内およびドメイン間移動学習環境下での単一フレームでの動物ポーズ推定,(2)未確認動物に対する種間ドメイン一般化テスト,(3)動物追跡による動物ポーズ推定の3つのモデルについて,いくつかの代表的モデルをベンチマークした。
- 参考スコア(独自算出の注目度): 77.87449881852062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Animal pose estimation and tracking (APT) is a fundamental task for detecting
and tracking animal keypoints from a sequence of video frames. Previous
animal-related datasets focus either on animal tracking or single-frame animal
pose estimation, and never on both aspects. The lack of APT datasets hinders
the development and evaluation of video-based animal pose estimation and
tracking methods, limiting real-world applications, e.g., understanding animal
behavior in wildlife conservation. To fill this gap, we make the first step and
propose APT-36K, i.e., the first large-scale benchmark for animal pose
estimation and tracking. Specifically, APT-36K consists of 2,400 video clips
collected and filtered from 30 animal species with 15 frames for each video,
resulting in 36,000 frames in total. After manual annotation and careful
double-check, high-quality keypoint and tracking annotations are provided for
all the animal instances. Based on APT-36K, we benchmark several representative
models on the following three tracks: (1) supervised animal pose estimation on
a single frame under intra- and inter-domain transfer learning settings, (2)
inter-species domain generalization test for unseen animals, and (3) animal
pose estimation with animal tracking. Based on the experimental results, we
gain some empirical insights and show that APT-36K provides a valuable animal
pose estimation and tracking benchmark, offering new challenges and
opportunities for future research. The code and dataset will be made publicly
available at https://github.com/pandorgan/APT-36K.
- Abstract(参考訳): 動物のポーズ推定と追跡(APT)は、一連のビデオフレームから動物のキーポイントを検出し、追跡するための基本的なタスクである。
従来の動物関連データセットは、動物追跡と単一フレーム動物のポーズ推定に重点を置いており、どちらの面も対象としていない。
aptデータセットの欠如は、ビデオベースの動物のポーズ推定と追跡手法の開発と評価を阻害し、野生動物保護における動物行動の理解など、現実世界の応用を制限する。
このギャップを埋めるため,動物ポーズ推定と追跡のための最初の大規模ベンチマークであるAPT-36Kを提案する。
具体的には、apt-36kは30種の動物から収集された2400本のビデオクリップからなり、それぞれ15フレームの動画が撮影され、合計で36,000フレームとなる。
手動のアノテーションと注意深いダブルチェックの後、すべての動物インスタンスに対して高品質なキーポイントとトラッキングアノテーションが提供される。
APT-36Kをベースとして,(1)ドメイン内およびドメイン間移動学習環境下での単一フレームでの動物ポーズ推定,(2)未確認動物に対する種間ドメイン一般化テスト,(3)動物追跡による動物ポーズ推定,の3つのトラックで代表的なモデルをベンチマークした。
実験の結果から,APT-36Kは動物のポーズ推定・追跡ベンチマークとして有用であり,今後の研究に新たな課題と機会を提供することを示す。
コードとデータセットはhttps://github.com/pandorgan/APT-36Kで公開される。
関連論文リスト
- Towards Multi-Modal Animal Pose Estimation: An In-Depth Analysis [48.57353513938747]
動物ポーズ推定(英: Animal pose Estimation、APE)は、様々なセンサーとモダリティ入力を用いて、動物の身体の部位を特定することを目的としている。
2013年以降、178の論文を評価することで、APEの手法は、センサーとモダリティのタイプ、学習パラダイム、実験的な設定、アプリケーションドメインによって分類される。
論文 参考訳(メタデータ) (2024-10-12T00:37:07Z) - PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions [57.871692507044344]
ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。
現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。
実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
論文 参考訳(メタデータ) (2024-06-20T14:40:17Z) - OpenAnimalTracks: A Dataset for Animal Track Recognition [2.3020018305241337]
動物足跡の自動分類と検出を容易にするために設計された,最初の公開ラベル付きデータセットであるOpenAnimalTracksデータセットを紹介する。
代表分類器と検出モデルを用いた自動フットプリント識別の可能性を示す。
われわれのデータセットは、動物の自動追跡技術の道を切り開き、生物多様性の保護と管理の能力を高めることを願っている。
論文 参考訳(メタデータ) (2024-06-14T00:37:17Z) - APTv2: Benchmarking Animal Pose Estimation and Tracking with a
Large-scale Dataset and Beyond [27.50166679588048]
APTv2は動物のポーズ推定と追跡のための大規模ベンチマークのパイオニアである。
ビデオクリップは2,749本で、30種の動物から抽出・収集されている。
我々は,84,611種の動物インスタンスに対して高品質なキーポイントと追跡アノテーションを提供する。
論文 参考訳(メタデータ) (2023-12-25T04:49:49Z) - OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。
我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
論文 参考訳(メタデータ) (2023-11-30T07:14:00Z) - AnimalTrack: A Large-scale Benchmark for Multi-Animal Tracking in the
Wild [26.794672185860538]
野生でのマルチ動物追跡のための大規模ベンチマークであるAnimalTrackを紹介した。
AnimalTrackは10種類の一般的な動物カテゴリーから58の配列で構成されている。
我々は14の最先端の代表トラッカーを広範囲に評価した。
論文 参考訳(メタデータ) (2022-04-30T04:23:59Z) - Animal Kingdom: A Large and Diverse Dataset for Animal Behavior
Understanding [4.606145900630665]
大規模で多様なデータセットであるAnimal Kingdomを作成し、複数の注釈付きタスクを提供します。
私たちのデータセットには、関連する動物行動セグメントをローカライズする50時間のアノテーション付きビデオが含まれています。
本研究では,未確認新種動物を用いた行動認識の一般的な特徴と特定の特徴を学習する協調行動認識(CARe)モデルを提案する。
論文 参考訳(メタデータ) (2022-04-18T02:05:15Z) - AP-10K: A Benchmark for Animal Pose Estimation in the Wild [83.17759850662826]
一般的な動物のポーズ推定のための,最初の大規模ベンチマークであるAP-10Kを提案する。
AP-10Kは動物23種と60種から収集・濾過された10,015枚からなる。
その結果、様々な動物種からの学習の精度と一般化能力の両面での優位性に関する実験的な証拠が得られた。
論文 参考訳(メタデータ) (2021-08-28T10:23:34Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳(メタデータ) (2021-03-24T15:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。