論文の概要: Animal Pose Labeling Using General-Purpose Point Trackers
- arxiv url: http://arxiv.org/abs/2506.03868v1
- Date: Wed, 04 Jun 2025 11:59:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.311472
- Title: Animal Pose Labeling Using General-Purpose Point Trackers
- Title(参考訳): 汎用ポイントトラッカーを用いた動物ポッドラベリング
- Authors: Zhuoyang Pan, Boxiao Pan, Guandao Yang, Adam W. Harley, Leonidas Guibas,
- Abstract要約: 本研究では,異なる戦略,すなわちテスト時間最適化に従う動物ポーズラベリングパイプラインを提案する。
注記フレームのスパースセット上に、事前訓練された汎用点トラッカー内に、軽量な外観を埋め込んだ微調整を行う。
本手法は,最先端の性能を妥当なコストで達成する。
- 参考スコア(独自算出の注目度): 11.014266034079352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatically estimating animal poses from videos is important for studying animal behaviors. Existing methods do not perform reliably since they are trained on datasets that are not comprehensive enough to capture all necessary animal behaviors. However, it is very challenging to collect such datasets due to the large variations in animal morphology. In this paper, we propose an animal pose labeling pipeline that follows a different strategy, i.e. test time optimization. Given a video, we fine-tune a lightweight appearance embedding inside a pre-trained general-purpose point tracker on a sparse set of annotated frames. These annotations can be obtained from human labelers or off-the-shelf pose detectors. The fine-tuned model is then applied to the rest of the frames for automatic labeling. Our method achieves state-of-the-art performance at a reasonable annotation cost. We believe our pipeline offers a valuable tool for the automatic quantification of animal behavior. Visit our project webpage at https://zhuoyang-pan.github.io/animal-labeling.
- Abstract(参考訳): ビデオから動物のポーズを自動的に推定することは、動物の行動を研究する上で重要である。
既存の方法は、必要な動物行動をすべて捉えるのに十分な包括的でないデータセットで訓練されているため、確実に機能しない。
しかし,動物形態学に大きな変化があるため,このようなデータセットの収集は非常に困難である。
本稿では,異なる戦略,すなわちテスト時間最適化に従う動物ポーズラベリングパイプラインを提案する。
ビデオでは,注釈付きフレームのスパースセット上に,事前学習した汎用的ポイントトラッカーに軽量な外観を埋め込む。
これらのアノテーションは、人間のラベルやオフザシェルフポーズ検出器から取得することができる。
その後、細調整されたモデルが残りのフレームに適用され、自動ラベリングが行われる。
提案手法は,適切なアノテーションコストで最先端の性能を実現する。
われわれのパイプラインは動物の行動を自動的に定量化する貴重なツールだと考えている。
プロジェクトのWebページはhttps://zhuoyang-pan.github.io/animal-labeling.comにある。
関連論文リスト
- AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。
AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。
我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
論文 参考訳(メタデータ) (2024-04-07T12:57:41Z) - APTv2: Benchmarking Animal Pose Estimation and Tracking with a
Large-scale Dataset and Beyond [27.50166679588048]
APTv2は動物のポーズ推定と追跡のための大規模ベンチマークのパイオニアである。
ビデオクリップは2,749本で、30種の動物から抽出・収集されている。
我々は,84,611種の動物インスタンスに対して高品質なキーポイントと追跡アノテーションを提供する。
論文 参考訳(メタデータ) (2023-12-25T04:49:49Z) - Multimodal Foundation Models for Zero-shot Animal Species Recognition in
Camera Trap Images [57.96659470133514]
モーションアクティベートカメラトラップは、世界中の野生生物を追跡・監視するための効率的なツールである。
教師付き学習技術は、そのような画像を分析するためにうまく展開されているが、そのような訓練には専門家のアノテーションが必要である。
コストのかかるラベル付きデータへの依存を減らすことは、人間の労働力を大幅に減らした大規模野生生物追跡ソリューションを開発する上で、大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-11-02T08:32:00Z) - MammalNet: A Large-scale Video Benchmark for Mammal Recognition and
Behavior Understanding [38.3767550066302]
MammalNetは、哺乳類の分類誘導アノテーションとその共通の行動を含む大規模な動物行動データセットである。
計539時間の18Kビデオが含まれており、これは現存する最大の動物行動データセットの10倍の大きさだ。
MammalNet上では,標準動物と行動認識,合成低ショット動物と行動認識,行動検出の3つのベンチマークを作成した。
論文 参考訳(メタデータ) (2023-06-01T11:45:33Z) - APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking [77.87449881852062]
APT-36Kは動物のポーズ推定と追跡のための最初の大規模ベンチマークである。
このビデオは、30種の動物から収集・フィルタリングされた2,400のビデオクリップと、各ビデオの15フレームで構成されており、合計で36,000フレームとなっている。
我々は,(1)ドメイン内およびドメイン間移動学習環境下での単一フレームでの動物ポーズ推定,(2)未確認動物に対する種間ドメイン一般化テスト,(3)動物追跡による動物ポーズ推定の3つのモデルについて,いくつかの代表的モデルをベンチマークした。
論文 参考訳(メタデータ) (2022-06-12T07:18:36Z) - SuperAnimal pretrained pose estimation models for behavioral analysis [42.206265576708255]
行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。
我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
論文 参考訳(メタデータ) (2022-03-14T18:46:57Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳(メタデータ) (2021-03-24T15:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。