論文の概要: SharkTrack: an accurate, generalisable software for streamlining shark and ray underwater video analysis
- arxiv url: http://arxiv.org/abs/2407.20623v1
- Date: Tue, 30 Jul 2024 07:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 17:59:37.446540
- Title: SharkTrack: an accurate, generalisable software for streamlining shark and ray underwater video analysis
- Title（参考訳）: SharkTrack:サメとレイの水中ビデオ分析を合理化するための正確で汎用的なソフトウェア
- Authors: Filippo Varini, Francesco Ferretti, Jeremy Jenrette, Joel H. Gayford, Mark E. Bond, Matthew J. Witt, Michael R. Heithaus, Sophie Wilday, Ben Glocker,
- Abstract要約: エラスモブランチ(シャークとレイ)は海洋生態系の重要な構成要素であるが、世界の人口減少を経験している。
これらの課題に対処するため、AIに強化されたBRUVS分析ソフトウェアであるSharkTrackを開発した。
SharkTrackは、畳み込みニューラルネットワークとマルチオブジェクトトラッキングを使用して、エラストモブランチを検出し、追跡する。
- 参考スコア（独自算出の注目度）: 9.97043361993659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Elasmobranchs (sharks and rays) can be important components of marine ecosystems but are experiencing global population declines. Effective monitoring of these populations is essential to their protection. Baited Remote Underwater Video Stations (BRUVS) have been a key tool for monitoring, but require time-consuming manual analysis. To address these challenges, we developed SharkTrack, an AI-enhanced BRUVS analysis software. SharkTrack uses Convolutional Neural Networks and Multi-Object Tracking to detect and track elasmobranchs and provides an annotation pipeline to manually classify elasmobranch species and compute MaxN, the standard metric of relative abundance. We tested SharkTrack on BRUVS footage from locations unseen by the model during training. SharkTrack computed MaxN with 89% accuracy over 207 hours of footage. The semi-automatic SharkTrack pipeline required two minutes of manual classification per hour of video, a 97% reduction of manual BRUVS analysis time compared to traditional methods, estimated conservatively at one hour per hour of video. Furthermore, we demonstrate SharkTrack application across diverse marine ecosystems and elasmobranch species, an advancement compared to previous models, which were limited to specific species or locations. SharkTrack applications extend beyond BRUVS analysis, facilitating rapid annotation of unlabeled videos, aiding the development of further models to classify elasmobranch species. We provide public access to the software and an unprecedentedly diverse dataset, facilitating future research in an important area of marine conservation.
- Abstract（参考訳）: エラスモブランチ(シャークとレイ)は海洋生態系の重要な構成要素であるが、世界の人口減少を経験している。
これらの個体群を効果的に監視することは保護に不可欠である。
BRUVS(Baited Remote Underwater Video Stations)は、監視のための重要なツールであるが、時間を要する手動分析を必要とする。
これらの課題に対処するため、AIに強化されたBRUVS分析ソフトウェアであるSharkTrackを開発した。
SharkTrackはConvolutional Neural NetworksとMulti-Object Trackingを使用してエラストモブランチを検出し、追跡し、エラスモブランチ種を手動で分類し、相対的存在量の標準指標であるMaxNを計算するためのアノテーションパイプラインを提供する。
トレーニング中にモデルに見えない場所のBRUVSでSharkTrackをテストしました。
SharkTrackは、207時間の映像に対して89%の精度でMaxNを計算した。
半自動的なSharkTrackパイプラインでは、ビデオの1時間あたりの手動分類が2分必要で、従来のビデオの1時間あたりの保守的な推定に比べて、手動のBRUVS分析時間が97%削減された。
さらに,多様な海洋生態系およびエラストモブランチ種にまたがるSharkTrackの適用を実証した。
SharkTrack のアプリケーションは BRUVS 解析を超えて拡張されており、ラベルなしビデオの迅速なアノテーションを促進し、エラストモブランチ種を分類するさらなるモデルの開発を支援している。
我々は,本ソフトウェアと前例のない多様なデータセットへの公開アクセスを提供し,海洋保護の重要な領域における今後の研究を促進する。
関連論文リスト
- Goldfish: Vision-Language Understanding of Arbitrarily Long Videos [51.547065479762715]
任意の長さのビデオの解釈に適した手法を提案する。
また,TVQA-longベンチマークを導入し,視覚とテキストコンテンツの両方に疑問を呈する長編ビデオの理解におけるモデルの能力を評価する。
以上の結果から,本モデルでは長大・短大双方の理解が大幅に改善されていることが示唆された。
論文 参考訳（メタデータ） (2024-07-17T15:59:32Z) - Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
本研究は,映像深度推定の課題に対処する。
我々は予測タスクを条件付き生成問題に再構成する。
これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
論文 参考訳（メタデータ） (2024-06-03T16:20:24Z) - Scalable Semantic 3D Mapping of Coral Reefs with Deep Learning [4.8902950939676675]
本稿では,エゴモーション映像から水中環境をマッピングするための新しいパラダイムを提案する。
前例のない規模で高精度な3Dセマンティックマッピングを行い,作業コストを大幅に削減した。
本手法は,サンゴ礁のサンゴ礁モニタリングを飛躍的にスケールアップする。
論文 参考訳（メタデータ） (2023-09-22T11:35:10Z) - Improving Underwater Visual Tracking With a Large Scale Dataset and
Image Enhancement [70.2429155741593]
本稿では,水中ビジュアルオブジェクト追跡(UVOT)のための新しいデータセットと汎用トラッカ拡張手法を提案する。
水中環境は、一様でない照明条件、視界の低さ、鋭さの欠如、コントラストの低さ、カモフラージュ、懸濁粒子からの反射を示す。
本研究では,追尾品質の向上に特化して設計された水中画像強調アルゴリズムを提案する。
この手法により、最先端(SOTA)ビジュアルトラッカーの最大5.0%のAUCの性能が向上した。
論文 参考訳（メタデータ） (2023-08-30T07:41:26Z) - Diving with Penguins: Detecting Penguins and their Prey in Animal-borne
Underwater Videos via Deep Learning [6.468147948798321]
アフリカ産ペンギン(Spheniscus demersus)は絶滅危惧種である。
水中での狩猟とそれに伴う捕食の成功率についてはほとんど知られていない。
現代のバイオロギング技術は、貴重な洞察を提供する可能性がある。
動物によるペンギンの水中ビデオデータセットを公開し、準備の整った深層学習システムを導入する。
論文 参考訳（メタデータ） (2023-08-14T16:50:27Z) - TempNet: Temporal Attention Towards the Detection of Animal Behaviour in
Videos [63.85815474157357]
本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。
TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。
本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
論文 参考訳（メタデータ） (2022-11-17T23:55:12Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳（メタデータ） (2022-10-11T08:05:18Z) - Context-Driven Detection of Invertebrate Species in Deep-Sea Video [11.38215488702246]
4つの水中基質と59種の水中無脊椎動物を時間的に局在させるためのベンチマークスイートについて検討した。
DUSIAは現在、ROVで30fpsで1080pで撮影された25の動画を10時間以上録画している。
いくつかのフレームには、無脊椎動物が興味を持つための正確な境界ボックスの位置がアノテートされている。
論文 参考訳（メタデータ） (2022-06-01T18:59:46Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳（メタデータ） (2021-03-24T15:54:11Z) - A Realistic Fish-Habitat Dataset to Evaluate Algorithms for Underwater
Visual Analysis [2.6476746128312194]
我々は、DeepFishを大規模データセットでベンチマークスイートとして提示し、いくつかのコンピュータビジョンタスクのためのメソッドをトレーニングし、テストする。
このデータセットは、熱帯オーストラリアの海洋環境にある20の温帯生物から採取された約4万枚の画像で構成されている。
実験では,データセットの特徴を詳細に分析し,いくつかの最先端手法の性能評価を行った。
論文 参考訳（メタデータ） (2020-08-28T12:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。