論文の概要: Triple-stream Deep Metric Learning of Great Ape Behavioural Actions
- arxiv url: http://arxiv.org/abs/2301.02642v1
- Date: Fri, 6 Jan 2023 18:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-09 23:15:24.925874
- Title: Triple-stream Deep Metric Learning of Great Ape Behavioural Actions
- Title(参考訳): 大型類人猿行動のトリプルストリームディープメトリック学習
- Authors: Otto Brookes, Majid Mirmehdi, Hjalmar K\"uhl, Tilo Burghardt
- Abstract要約: 本研究では,類人猿の行動行動認識のための最初の計量学習システムを提案する。
提案する3重ストリーム埋め込みアーキテクチャは、野生で直接撮影されたカメラトラップビデオで動作する。
- 参考スコア(独自算出の注目度): 3.8820728151341717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose the first metric learning system for the recognition of great ape
behavioural actions. Our proposed triple stream embedding architecture works on
camera trap videos taken directly in the wild and demonstrates that the
utilisation of an explicit DensePose-C chimpanzee body part segmentation stream
effectively complements traditional RGB appearance and optical flow streams. We
evaluate system variants with different feature fusion techniques and long-tail
recognition approaches. Results and ablations show performance improvements of
~12% in top-1 accuracy over previous results achieved on the PanAf-500 dataset
containing 180,000 manually annotated frames across nine behavioural actions.
Furthermore, we provide a qualitative analysis of our findings and augment the
metric learning system with long-tail recognition techniques showing that
average per class accuracy -- critical in the domain -- can be improved by ~23%
compared to the literature on that dataset. Finally, since our embedding spaces
are constructed as metric, we provide first data-driven visualisations of the
great ape behavioural action spaces revealing emerging geometry and topology.
We hope that the work sparks further interest in this vital application area of
computer vision for the benefit of endangered great apes.
- Abstract(参考訳): 本稿では,類人猿の行動認識のための最初のメトリック学習システムを提案する。
提案手法は,DensePose-Cチンパンジーのボディー部分分割ストリームの利用により,従来のRGBの外観や光フローストリームを効果的に補完することを示す。
異なる特徴融合手法と長い尾認識手法を用いてシステム変異を評価した。
PanAf-500データセットでは、9つの動作アクションに対して180,000のアノテートフレームが手作業で記述されているため、トップ1の精度が約12%向上した。
さらに,本研究の結果を定性的に分析し,そのデータを用いた文献と比較して,クラス毎の平均精度が約23%向上できることを示すロングテール認識手法を用いて,メートル法学習システムを強化した。
最後に、埋め込み空間はメートル法として構築されるので、新しい幾何学とトポロジーを示す巨大な猿の行動行動空間の最初のデータ駆動可視化を提供する。
この研究が、絶滅危惧猿の利益のために、コンピュータビジョンのこの重要な応用分野へのさらなる関心を喚起することを願っている。
関連論文リスト
- ChimpVLM: Ethogram-Enhanced Chimpanzee Behaviour Recognition [5.253376886484742]
本稿では,カメラトラップ映像から直接抽出した視覚特徴のマルチモーダルデコードを利用する視覚言語モデルを提案する。
我々はPanAf500とPanAf20Kのデータセットを用いてシステムを評価する。
トップ1の精度で視覚モデルと視覚言語モデルに対して最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-04-13T09:17:51Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - TempNet: Temporal Attention Towards the Detection of Animal Behaviour in
Videos [63.85815474157357]
本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。
TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。
本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
論文 参考訳(メタデータ) (2022-11-17T23:55:12Z) - Explored An Effective Methodology for Fine-Grained Snake Recognition [8.908667065576632]
我々は,様々なメタ情報を活用し,きめ細かい識別を支援するために,強力なマルチモーダルバックボーンを設計する。
ラベルのないデータセットを最大限に活用するために,自己教師付き学習と教師付き学習共同学習を用いる。
本手法は,個人用および公開用データセットにおいて,それぞれ92.7%,89.4%のマクロf1スコアを達成できる。
論文 参考訳(メタデータ) (2022-07-24T02:19:15Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based
Baseline [95.88825497452716]
歩行ベンチマークにより、研究コミュニティは高性能歩行認識システムの訓練と評価を行うことができる。
GREWは、野生における歩行認識のための最初の大規模データセットである。
SPOSGaitはNASベースの最初の歩行認識モデルである。
論文 参考訳(メタデータ) (2022-05-05T14:57:39Z) - Dynamic Curriculum Learning for Great Ape Detection in the Wild [14.212559301656]
本研究では,現実世界のジャングル環境における検出器構築を改善するために,エンドツーエンドのカリキュラム学習手法を提案する。
従来の半教師付き手法とは対照的に,本手法は自己強化に向けての訓練を行うことで,検出品質を徐々に向上させる。
このような厳密な力学と制御は、学習の崩壊を回避し、検出器の調整をより高度なモデル品質に徐々に結びつけることができることを示す。
論文 参考訳(メタデータ) (2022-04-30T14:02:52Z) - UNIK: A Unified Framework for Real-world Skeleton-based Action
Recognition [11.81043814295441]
UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。
実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。
その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
論文 参考訳(メタデータ) (2021-07-19T02:00:28Z) - Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。
スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。
提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文 参考訳(メタデータ) (2021-05-25T02:17:56Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。