論文の概要: CNN-Based Action Recognition and Pose Estimation for Classifying Animal Behavior from Videos: A Survey

• arxiv url: http://arxiv.org/abs/2301.06187v1
• Date: Sun, 15 Jan 2023 20:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:04:11.400217
• Title: CNN-Based Action Recognition and Pose Estimation for Classifying Animal Behavior from Videos: A Survey
• Title（参考訳）: 映像からの動物行動分類のためのCNNに基づく行動認識と行動推定
• Authors: Michael Perez and Corey Toler-Franklin
• Abstract要約: アクション認識(Action Recognition)は、1つ以上の被験者がトリミングされたビデオで行う活動の分類であり、多くの技術の基礎を形成する。 人間の行動認識のためのディープラーニングモデルは、過去10年間に進歩してきた。 近年,深層学習に基づく行動認識を取り入れた研究への関心が高まっている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classifying the behavior of humans or animals from videos is important in biomedical fields for understanding brain function and response to stimuli. Action recognition, classifying activities performed by one or more subjects in a trimmed video, forms the basis of many of these techniques. Deep learning models for human action recognition have progressed significantly over the last decade. Recently, there is an increased interest in research that incorporates deep learning-based action recognition for animal behavior classification. However, human action recognition methods are more developed. This survey presents an overview of human action recognition and pose estimation methods that are based on convolutional neural network (CNN) architectures and have been adapted for animal behavior classification in neuroscience. Pose estimation, estimating joint positions from an image frame, is included because it is often applied before classifying animal behavior. First, we provide foundational information on algorithms that learn spatiotemporal features through 2D, two-stream, and 3D CNNs. We explore motivating factors that determine optimizers, loss functions and training procedures, and compare their performance on benchmark datasets. Next, we review animal behavior frameworks that use or build upon these methods, organized by the level of supervision they require. Our discussion is uniquely focused on the technical evolution of the underlying CNN models and their architectural adaptations (which we illustrate), rather than their usability in a neuroscience lab. We conclude by discussing open research problems, and possible research directions. Our survey is designed to be a resource for researchers developing fully unsupervised animal behavior classification systems of which there are only a few examples in the literature.
• Abstract（参考訳）: ビデオからヒトや動物の行動を分類することは、脳の機能や刺激に対する反応を理解する上で重要である。 アクション認識は、1人または複数の被験者がトリミングビデオで行うアクティビティを分類し、これらの技術の多くの基礎を形成する。 人間の行動認識のためのディープラーニングモデルは、過去10年間で大きく進歩している。 近年,深層学習に基づく行動認識を動物行動分類に適用する研究への関心が高まっている。 しかし、人間の行動認識法はより発展している。 本研究は,神経科学における動物行動分類に適応した,畳み込みニューラルネットワーク(CNN)アーキテクチャに基づく人間の行動認識とポーズ推定手法の概要を示す。 動物の行動を分類する前にしばしば適用されるため、画像フレームから関節位置を推定するポーズ推定も含む。 まず,2D,2ストリーム,3D CNNを通じて時空間特徴を学習するアルゴリズムの基礎情報を提供する。 我々は,オプティマイザ,損失関数,トレーニング手順を決定するモチベーション要因を調査し,ベンチマークデータセットでの性能を比較する。 次に,これらの手法を利用したり構築したりする動物行動の枠組みを,それらが必要とする監督レベルによって整理する。 私たちの議論は、基礎となるcnnモデルの技術的な進化と、神経科学研究室での使用性よりも、そのアーキテクチャ的適応性に特化しています。 オープンな研究課題と可能な研究方向性について論じる。 本調査は, 完全に教師なしの動物行動分類システムを開発する研究者のための資源として設計されており, 文献にはほとんど例がない。

関連論文リスト

• Animal Behavior Analysis Methods Using Deep Learning: A Survey [3.9086052572489653]
  最先端のディープラーニングモデルは、様々な動物のデータの分類において顕著な精度を示している。 この論文は、動物行動研究の分野を前進させる可能性を秘めている深層学習における重要な研究方向に関する総合的な議論をまとめている。
  論文  参考訳（メタデータ） (2024-05-22T21:17:54Z)
• Computer Vision for Primate Behavior Analysis in the Wild [61.08941894580172]
  ビデオに基づく行動監視は、動物の認知と行動を研究する方法を変える大きな可能性を秘めている。 今でも、エキサイティングな見通しと、今日実際に達成できるものの間には、かなり大きなギャップがある。
  論文  参考訳（メタデータ） (2024-01-29T18:59:56Z)
• Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
  人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:29:16Z)
• Review on Social Behavior Analysis of Laboratory Animals: From Methodologies to Applications [0.0]
  従来の視覚的手法,統計的手法,深層学習手法を網羅し,多様な行動検出アルゴリズムを探索する。 本研究の目的は、動物行動の効率的な検出方法のひっかき傷を生物学者に与え、関連する研究を徹底的に調査することである。
  論文  参考訳（メタデータ） (2022-06-25T13:40:35Z)
• Guiding Visual Attention in Deep Convolutional Neural Networks Based on Human Eye Movements [0.0]
  ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。 近年のディープラーニングの進歩は、この類似性を減らしているようだ。 有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
  論文  参考訳（メタデータ） (2022-06-21T17:59:23Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework [83.21732533130846]
  Aff-Wild と Aff-Wild2 の2つである。 これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。 インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
  論文  参考訳（メタデータ） (2021-03-29T17:36:20Z)
• Transferring Dense Pose to Proximal Animal Classes [83.84439508978126]
  より一般的な対象検出器やセグメンタなどと同様に、密集したポーズ認識に存在する知識を、他のクラスにおける密集したポーズ認識の問題に移すことが可能であることを示す。 我々は、人間と幾何学的に整合した新しい動物のためのDensePoseモデルを確立することでこれを行う。 また、クラスチンパンジーにDensePoseの方法でラベル付けされた2つのベンチマークデータセットを導入し、アプローチを評価するためにそれらを使用します。
  論文  参考訳（メタデータ） (2020-02-28T21:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。