論文の概要: SharkTrack: an accurate, generalisable software for streamlining shark and ray underwater video analysis
- arxiv url: http://arxiv.org/abs/2407.20623v1
- Date: Tue, 30 Jul 2024 07:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 17:59:37.446540
- Title: SharkTrack: an accurate, generalisable software for streamlining shark and ray underwater video analysis
- Title(参考訳): SharkTrack:サメとレイの水中ビデオ分析を合理化するための正確で汎用的なソフトウェア
- Authors: Filippo Varini, Francesco Ferretti, Jeremy Jenrette, Joel H. Gayford, Mark E. Bond, Matthew J. Witt, Michael R. Heithaus, Sophie Wilday, Ben Glocker,
- Abstract要約: エラスモブランチ(シャークとレイ)は海洋生態系の重要な構成要素であるが、世界の人口減少を経験している。
これらの課題に対処するため、AIに強化されたBRUVS分析ソフトウェアであるSharkTrackを開発した。
SharkTrackは、畳み込みニューラルネットワークとマルチオブジェクトトラッキングを使用して、エラストモブランチを検出し、追跡する。
- 参考スコア(独自算出の注目度): 9.97043361993659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Elasmobranchs (sharks and rays) can be important components of marine ecosystems but are experiencing global population declines. Effective monitoring of these populations is essential to their protection. Baited Remote Underwater Video Stations (BRUVS) have been a key tool for monitoring, but require time-consuming manual analysis. To address these challenges, we developed SharkTrack, an AI-enhanced BRUVS analysis software. SharkTrack uses Convolutional Neural Networks and Multi-Object Tracking to detect and track elasmobranchs and provides an annotation pipeline to manually classify elasmobranch species and compute MaxN, the standard metric of relative abundance. We tested SharkTrack on BRUVS footage from locations unseen by the model during training. SharkTrack computed MaxN with 89% accuracy over 207 hours of footage. The semi-automatic SharkTrack pipeline required two minutes of manual classification per hour of video, a 97% reduction of manual BRUVS analysis time compared to traditional methods, estimated conservatively at one hour per hour of video. Furthermore, we demonstrate SharkTrack application across diverse marine ecosystems and elasmobranch species, an advancement compared to previous models, which were limited to specific species or locations. SharkTrack applications extend beyond BRUVS analysis, facilitating rapid annotation of unlabeled videos, aiding the development of further models to classify elasmobranch species. We provide public access to the software and an unprecedentedly diverse dataset, facilitating future research in an important area of marine conservation.
- Abstract(参考訳): エラスモブランチ(シャークとレイ)は海洋生態系の重要な構成要素であるが、世界の人口減少を経験している。
これらの個体群を効果的に監視することは保護に不可欠である。
BRUVS(Baited Remote Underwater Video Stations)は、監視のための重要なツールであるが、時間を要する手動分析を必要とする。
これらの課題に対処するため、AIに強化されたBRUVS分析ソフトウェアであるSharkTrackを開発した。
SharkTrackはConvolutional Neural NetworksとMulti-Object Trackingを使用してエラストモブランチを検出し、追跡し、エラスモブランチ種を手動で分類し、相対的存在量の標準指標であるMaxNを計算するためのアノテーションパイプラインを提供する。
トレーニング中にモデルに見えない場所のBRUVSでSharkTrackをテストしました。
SharkTrackは、207時間の映像に対して89%の精度でMaxNを計算した。
半自動的なSharkTrackパイプラインでは、ビデオの1時間あたりの手動分類が2分必要で、従来のビデオの1時間あたりの保守的な推定に比べて、手動のBRUVS分析時間が97%削減された。
さらに,多様な海洋生態系およびエラストモブランチ種にまたがるSharkTrackの適用を実証した。
SharkTrack のアプリケーションは BRUVS 解析を超えて拡張されており、ラベルなしビデオの迅速なアノテーションを促進し、エラストモブランチ種を分類するさらなるモデルの開発を支援している。
我々は,本ソフトウェアと前例のない多様なデータセットへの公開アクセスを提供し,海洋保護の重要な領域における今後の研究を促進する。
関連論文リスト
- Watching Swarm Dynamics from Above: A Framework for Advanced Object Tracking in Drone Videos [2.2159863221761165]
本研究では,無人ドローン映像から海中の魚の群れを追跡する新しい手法を提案する。
我々のフレームワークは、2Dで古典的な物体追跡を行うだけでなく、映像データとドローン搭載センサー情報(GPSとIMU)を融合させることで、世界座標における魚学校の位置と空間的拡張を追跡する。
提示された枠組みにより、研究者は非侵襲的でスケーラブルな方法で、自然の社会的・環境的な文脈で魚学校の集団行動を研究することができる。
論文 参考訳(メタデータ) (2024-06-11T19:57:00Z) - Improving Underwater Visual Tracking With a Large Scale Dataset and
Image Enhancement [70.2429155741593]
本稿では,水中ビジュアルオブジェクト追跡(UVOT)のための新しいデータセットと汎用トラッカ拡張手法を提案する。
水中環境は、一様でない照明条件、視界の低さ、鋭さの欠如、コントラストの低さ、カモフラージュ、懸濁粒子からの反射を示す。
本研究では,追尾品質の向上に特化して設計された水中画像強調アルゴリズムを提案する。
この手法により、最先端(SOTA)ビジュアルトラッカーの最大5.0%のAUCの性能が向上した。
論文 参考訳(メタデータ) (2023-08-30T07:41:26Z) - TempNet: Temporal Attention Towards the Detection of Animal Behaviour in
Videos [63.85815474157357]
本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。
TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。
本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
論文 参考訳(メタデータ) (2022-11-17T23:55:12Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳(メタデータ) (2022-10-11T08:05:18Z) - Deep object detection for waterbird monitoring using aerial imagery [56.1262568293658]
本研究では,商用ドローンで収集した空中画像を用いて,水鳥の正確な検出,数え,監視に使用できる深層学習パイプラインを提案する。
畳み込み型ニューラルネットワークを用いた物体検出装置を用いて,テキサス沿岸の植民地性営巣島でよく見られる16種類の水鳥を検出できることを示す。
論文 参考訳(メタデータ) (2022-10-10T17:37:56Z) - Transformer-based Self-Supervised Fish Segmentation in Underwater Videos [1.9249287163937976]
魚の高品質なセグメンテーションのための自己スーパービジョンを用いたトランスフォーマー方式を提案する。
1つのデータセットから水中ビデオのセットをトレーニングすると、提案モデルは従来のCNNベースおよびTransformerベースの自己教師方式を上回ることが示される。
論文 参考訳(メタデータ) (2022-06-11T01:20:48Z) - Context-Driven Detection of Invertebrate Species in Deep-Sea Video [11.38215488702246]
4つの水中基質と59種の水中無脊椎動物を時間的に局在させるためのベンチマークスイートについて検討した。
DUSIAは現在、ROVで30fpsで1080pで撮影された25の動画を10時間以上録画している。
いくつかのフレームには、無脊椎動物が興味を持つための正確な境界ボックスの位置がアノテートされている。
論文 参考訳(メタデータ) (2022-06-01T18:59:46Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳(メタデータ) (2021-03-24T15:54:11Z) - Movement Tracks for the Automatic Detection of Fish Behavior in Videos [63.85815474157357]
水中ビデオでサブルフィッシュ(Anoplopoma fimbria)の発芽行動のデータセットを提供し,その上での深層学習(DL)法による行動検出について検討した。
提案する検出システムは,Long Short-Term Memory(LSTM)ネットワークを用いて,サブルフィッシュの起動動作を識別する。
論文 参考訳(メタデータ) (2020-11-28T05:51:19Z) - A Realistic Fish-Habitat Dataset to Evaluate Algorithms for Underwater
Visual Analysis [2.6476746128312194]
我々は、DeepFishを大規模データセットでベンチマークスイートとして提示し、いくつかのコンピュータビジョンタスクのためのメソッドをトレーニングし、テストする。
このデータセットは、熱帯オーストラリアの海洋環境にある20の温帯生物から採取された約4万枚の画像で構成されている。
実験では,データセットの特徴を詳細に分析し,いくつかの最先端手法の性能評価を行った。
論文 参考訳(メタデータ) (2020-08-28T12:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。