論文の概要: How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach

• arxiv url: http://arxiv.org/abs/2208.10662v2
• Date: Wed, 26 Feb 2025 04:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 15:15:45.112238
• Title: How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach
• Title（参考訳）: 人間アノテーションのない魚の追跡とセグメンテーション : 自己監督型深層学習アプローチ
• Authors: Alzayat Saleh, Marcus Sheaves, Dean Jerry, Mostafa Rahimi Azghadi,
• Abstract要約: 魚の追跡とセグメンテーションのためのディープニューラルネットワーク(DNN)のトレーニングには、高品質なラベルが必要である。 本研究では,映像データの空間的・時間的変動に依存する教師なしの手法を提案する。 本フレームワークは,(1) フレーム間の空間的・時間的整合性を利用して擬似ラベルを生成する光学フローモデル,(2) 擬似ラベルを漸進的に洗練する自己教師型モデル,(3) 分割ネットワークの3段階からなる。
• 参考スコア（独自算出の注目度）: 3.0516727053033392
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tracking fish movements and sizes of fish is crucial to understanding their ecology and behaviour. Knowing where fish migrate, how they interact with their environment, and how their size affects their behaviour can help ecologists develop more effective conservation and management strategies to protect fish populations and their habitats. Deep learning is a promising tool to analyze fish ecology from underwater videos. However, training deep neural networks (DNNs) for fish tracking and segmentation requires high-quality labels, which are expensive to obtain. We propose an alternative unsupervised approach that relies on spatial and temporal variations in video data to generate noisy pseudo-ground-truth labels. We train a multitask DNN using these pseudo-labels. Our framework consists of three stages: (1) an optical flow model generates the pseudo labels using spatial and temporal consistency between frames, (2) a self-supervised model refines the pseudo-labels incrementally, and (3) a segmentation network uses the refined labels for training. Consequently, we perform extensive experiments to validate our method on three public underwater video datasets and demonstrate its effectiveness for video annotation and segmentation. We also evaluate its robustness to different imaging conditions and discuss its limitations.
• Abstract（参考訳）: 魚の動きや魚の大きさを追跡することは、魚の生態や行動を理解するのに不可欠である。 魚がどこに移動するか、どのように環境と相互作用するか、そしてその大きさが彼らの行動にどのように影響するかを知ることで、生態学者は魚の個体群とその生息地を保護するためにより効果的な保護と管理戦略を開発するのに役立つ。 深層学習は、水中ビデオから魚の生態を分析するための有望なツールだ。 しかし、魚の追跡とセグメンテーションのために深層ニューラルネットワーク(DNN)を訓練するには、高品質なラベルが必要である。 そこで本稿では,映像データの空間的・時間的変動に頼って,ノイズの多い擬似地下構造ラベルを生成する手法を提案する。 これらの擬似ラベルを用いてマルチタスクDNNを訓練する。 本フレームワークは,(1) フレーム間の空間的・時間的整合性を利用して擬似ラベルを生成する光学フローモデル,(2) 擬似ラベルを漸進的に洗練する自己教師型モデル,(3) 分割ネットワークの3段階からなる。 その結果,提案手法を3つの水中ビデオデータセット上で検証し,ビデオアノテーションとセグメンテーションの有効性を実証した。 また、異なる撮像条件に対するロバスト性を評価し、その限界について議論する。

関連論文リスト

• CBIL: Collective Behavior Imitation Learning for Fish from Real Videos [58.81930297206828]
  魚の学習行動を直接ビデオから学習するためのスケーラブルなアプローチCBIL(Collective Behavior Imitation Learning)を提案する。 MVAEは2次元の観察を、模倣学習段階に従うためにコンパクトで表現力のある暗黙の状態に効果的にマッピングする。 CBILは、学習された集合的な動きの前の様々なアニメーションタスクに使用することができる。
  論文  参考訳（メタデータ） (2025-03-31T21:15:00Z)
• Closer to Ground Truth: Realistic Shape and Appearance Labeled Data Generation for Unsupervised Underwater Image Segmentation [8.511846002129522]
  人間のアノテーションを必要としない2段階の非教師付きセグメンテーション手法を導入し、人工的に作成された実画像と実画像を組み合わせる。 本手法は,仮想魚を現実世界の水中環境に配置することにより,難易度の高い合成訓練データを生成する。 水中ビデオにおけるサーモンセグメンテーションの特定の事例にその効果を示し,本研究で最大のデータセットであるDeepSalmon(30GB)を紹介した。
  論文  参考訳（メタデータ） (2025-03-20T11:34:45Z)
• Image-Based Relocalization and Alignment for Long-Term Monitoring of Dynamic Underwater Environments [57.59857784298534]
  本稿では,視覚的位置認識(VPR),特徴マッチング,画像分割を組み合わせた統合パイプラインを提案する。 本手法は, 再検討領域のロバスト同定, 剛性変換の推定, 生態系変化の下流解析を可能にする。
  論文  参考訳（メタデータ） (2025-03-06T05:13:19Z)
• TrajSSL: Trajectory-Enhanced Semi-Supervised 3D Object Detection [59.498894868956306]
  Pseudo-labeling approach to semi-supervised learning は教師-学生の枠組みを採用する。 我々は、事前学習した動き予測モデルを活用し、擬似ラベル付きデータに基づいて物体軌跡を生成する。 提案手法は2つの異なる方法で擬似ラベル品質を向上する。
  論文  参考訳（メタデータ） (2024-09-17T05:35:00Z)
• Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment [62.73503467108322]
  この話題は、3次元の点雲のセグメンテーションで広く研究されている。 近年まで、擬似ラベルは、限られた地道ラベルによる訓練を容易にするために広く用いられてきた。 既存の擬似ラベリングアプローチは、重複しないデータのノイズやバリエーションに悩まされる可能性がある。 本研究では,学習用擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭める学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:31:15Z)
• Label-Efficient 3D Brain Segmentation via Complementary 2D Diffusion Models with Orthogonal Views [10.944692719150071]
  相補的な2次元拡散モデルを用いた新しい3次元脳分割法を提案する。 私たちのゴールは、個々の主題に対して完全なラベルを必要とせずに、信頼性の高いセグメンテーション品質を達成することです。
  論文  参考訳（メタデータ） (2024-07-17T06:14:53Z)
• WildScenes: A Benchmark for 2D and 3D Semantic Segmentation in Large-scale Natural Environments [33.25040383298019]
  $WildScenes$は、高解像度の2Dイメージと高密度の3D LiDARポイントクラウドで構成されるバイモーダルベンチマークデータセットである。 データは軌道中心であり、正確なローカライゼーションとグローバルに整列した点雲がある。 我々の3Dセマンティックラベルは、人間の注釈付き2Dラベルを複数のビューから3Dポイントクラウドシーケンスに転送する効率的で自動化されたプロセスによって得られる。
  論文  参考訳（メタデータ） (2023-12-23T22:27:40Z)
• Beyond the Label Itself: Latent Labels Enhance Semi-supervised Point Cloud Panoptic Segmentation [46.01433705072047]
  表示ラベルの裏側には,LiDARと画像データに埋め込まれた2種類の潜伏ラベルが存在する。 我々は、より信頼性の高いトレーニング用サンプルを拡張できる新しい拡張 Cylinder-Mix を提案する。 また、インスタンスの位置と規模に関する情報を学習し、融合するためのインスタンス位置スケール学習(IPSL)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:56:24Z)
• Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior [100.98123802027847]
  点群における3次元シーンフロー推定とクラス非依存動作予測について検討した。 我々は,一方向の剛性動作推定により,自己教師型学習のための擬似シーンフローラベルを生成する。 本手法は,自己監督型シーンフロー学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-17T14:06:55Z)
• Unsupervised 3D registration through optimization-guided cyclical self-training [71.75057371518093]
  最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。 本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。 腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-29T14:54:10Z)
• TempNet: Temporal Attention Towards the Detection of Animal Behaviour in Videos [63.85815474157357]
  本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。 TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。 本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
  論文  参考訳（メタデータ） (2022-11-17T23:55:12Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Collaborative Propagation on Multiple Instance Graphs for 3D Instance Segmentation with Single-point Supervision [63.429704654271475]
  本稿では,1つのオブジェクトを1つのポイントでラベル付けするだけでよい,弱教師付き手法RWSegを提案する。 これらの疎いラベルにより、セマンティック情報とインスタンス情報を伝達する2つの分岐を持つ統一的なフレームワークを導入する。 具体的には、異なるインスタンスグラフ間の競合を促進するクロスグラフ競合ランダムウォークス(CRW)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-10T02:14:39Z)
• Applications of Deep Learning in Fish Habitat Monitoring: A Tutorial and Survey [1.9249287163937976]
  ディープラーニング(DL)は最先端のAI技術であり、ビジュアルデータを分析する上で前例のないパフォーマンスを示している。 本稿では,DLの重要な概念を網羅するチュートリアルを紹介し,DLの動作に関する高レベルな理解を支援する。 チュートリアルではまた、水中魚のモニタリングのような挑戦的な応用のために、DLアルゴリズムをどのように開発すべきかをステップバイステップで説明する。
  論文  参考訳（メタデータ） (2022-06-11T01:59:54Z)
• Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach [3.0516727053033392]
  本稿では,Deep Learning を用いた魚のセグメンテーションのための自己教師型学習手法を提案する。 手動のアノテーションを使わずにトレーニングされた我々のモデルは、拡張ビューにまたがる特徴を整列することで、堅牢で一般化可能な表現を学習する。 DeepFish、Seagrass、YouTube-VOSの3つの挑戦的な水中ビデオデータセットでその効果を実証する。
  論文  参考訳（メタデータ） (2022-06-11T01:20:48Z)
• Unlocking the potential of deep learning for marine ecology: overview, applications, and outlook [8.3226670069051]
  本稿では,海洋生態学者と計算機科学者のギャップを埋めることを目的としている。 本研究では, 一般的な深層学習手法を, 平易な言語における生態データ分析に適用する。 我々は,海洋生態学への深層学習の確立と新たな応用を通じて,課題と機会を解説する。
  論文  参考訳（メタデータ） (2021-09-29T21:59:16Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Movement Tracks for the Automatic Detection of Fish Behavior in Videos [63.85815474157357]
  水中ビデオでサブルフィッシュ(Anoplopoma fimbria)の発芽行動のデータセットを提供し,その上での深層学習(DL)法による行動検出について検討した。 提案する検出システムは,Long Short-Term Memory(LSTM)ネットワークを用いて,サブルフィッシュの起動動作を識別する。
  論文  参考訳（メタデータ） (2020-11-28T05:51:19Z)
• A Realistic Fish-Habitat Dataset to Evaluate Algorithms for Underwater Visual Analysis [2.6476746128312194]
  我々は、DeepFishを大規模データセットでベンチマークスイートとして提示し、いくつかのコンピュータビジョンタスクのためのメソッドをトレーニングし、テストする。 このデータセットは、熱帯オーストラリアの海洋環境にある20の温帯生物から採取された約4万枚の画像で構成されている。 実験では,データセットの特徴を詳細に分析し,いくつかの最先端手法の性能評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T12:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。