論文の概要: SuperAnimal pretrained pose estimation models for behavioral analysis

• arxiv url: http://arxiv.org/abs/2203.07436v4
• Date: Sun, 31 Dec 2023 01:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 03:34:30.604677
• Title: SuperAnimal pretrained pose estimation models for behavioral analysis
• Title（参考訳）: 行動分析のための超動物前訓練ポーズ推定モデル
• Authors: Shaokai Ye and Anastasiia Filippova and Jessy Lauer and Steffen Schneider and Maxime Vidal and Tian Qiu and Alexander Mathis and Mackenzie Weygandt Mathis
• Abstract要約: 行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。 我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
• 参考スコア（独自算出の注目度）: 42.206265576708255
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Quantification of behavior is critical in applications ranging from neuroscience, veterinary medicine and animal conservation efforts. A common key step for behavioral analysis is first extracting relevant keypoints on animals, known as pose estimation. However, reliable inference of poses currently requires domain knowledge and manual labeling effort to build supervised models. We present a series of technical innovations that enable a new method, collectively called SuperAnimal, to develop unified foundation models that can be used on over 45 species, without additional human labels. Concretely, we introduce a method to unify the keypoint space across differently labeled datasets (via our generalized data converter) and for training these diverse datasets in a manner such that they don't catastrophically forget keypoints given the unbalanced inputs (via our keypoint gradient masking and memory replay approaches). These models show excellent performance across six pose benchmarks. Then, to ensure maximal usability for end-users, we demonstrate how to fine-tune the models on differently labeled data and provide tooling for unsupervised video adaptation to boost performance and decrease jitter across frames. If the models are fine-tuned, we show SuperAnimal models are 10-100$\times$ more data efficient than prior transfer-learning-based approaches. We illustrate the utility of our models in behavioral classification in mice and gait analysis in horses. Collectively, this presents a data-efficient solution for animal pose estimation.
• Abstract（参考訳）: 行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。 行動分析の一般的なステップは、まず、ポーズ推定として知られる動物の重要な点を抽出することである。 しかし、現在、ポーズの信頼できる推論には、教師付きモデルを構築するためにドメイン知識と手作業によるラベル付けが必要である。 我々は,新たにスーパーアニマル(SuperAnimal)と呼ばれる技術革新を行い,45種以上で使用可能な統一基盤モデルを,追加の人間ラベルなしで開発する。 具体的には、(一般化データ変換器を介して)異なるラベル付きデータセット間でキーポイント空間を統一する手法を導入し、(キーポイント勾配マスキングとメモリ再生アプローチを介して)不均衡な入力からキーポイントを破滅的に忘れないように、これらの多様なデータセットをトレーニングする。 これらのモデルは6つのポーズベンチマークで優れたパフォーマンスを示している。 そして,エンドユーザーにとって最大のユーザビリティを確保するために,異なるラベル付きデータに基づいてモデルを微調整する方法を実証し,教師なしビデオ適応による性能向上とフレーム間のジッタ低減のためのツールを提供する。 モデルが微調整された場合、SuperAnimalモデルは、従来のトランスファーラーニングベースのアプローチよりも10-100$\times$データ効率が高いことを示す。 本稿では,マウスの行動分類と馬の歩行解析におけるモデルの有用性について述べる。 総じて,動物のポーズ推定のためのデータ効率の高いソリューションを提案する。

関連論文リスト

• PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions [57.871692507044344]
  ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。 現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。 実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T14:40:17Z)
• From Forest to Zoo: Great Ape Behavior Recognition with ChimpBehave [0.0]
  ChimpBehaveは動物園で飼育されているチンパンジーの2時間以上のビデオ(約193,000フレーム)を特徴とする新しいデータセットだ。 ChimpBehaveは、アクション認識のためのバウンディングボックスやビヘイビアラベルに細心の注意を払ってアノテートする。 我々は、最先端のCNNベースの行動認識モデルを用いてデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2024-05-30T13:11:08Z)
• Model Selection with Model Zoo via Graph Learning [45.30615308692713]
  本稿では,グラフ学習問題としてモデル選択を再構成する新しいフレームワークであるTransferGraphを紹介する。 我々は,TransferGraphが本質的なモデル-データセット関係を捕捉し,予測性能と実際の微調整結果との相関性を最大32%向上させる効果を,最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-04-05T09:50:00Z)
• Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data [18.06492246414256]
  そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。 そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
  論文  参考訳（メタデータ） (2022-08-30T01:17:50Z)
• Hyper-Representations for Pre-Training and Transfer Learning [2.9678808525128813]
  我々は、生成的使用のためのハイパー表現を拡張して、事前学習として新しいモデルウェイトをサンプリングする。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-07-22T09:01:21Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
  Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。 我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-29T14:09:45Z)
• Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals [56.65062746564091]
  我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。 我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。 ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-01-23T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。