論文の概要: How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach

• arxiv url: http://arxiv.org/abs/2208.10662v2
• Date: Wed, 26 Feb 2025 04:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:53:22.358861
• Title: How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach
• Title（参考訳）: 人間アノテーションのない魚の追跡とセグメンテーション : 自己監督型深層学習アプローチ
• Authors: Alzayat Saleh, Marcus Sheaves, Dean Jerry, Mostafa Rahimi Azghadi,
• Abstract要約: 魚の追跡とセグメンテーションのためのディープニューラルネットワーク(DNN)のトレーニングには、高品質なラベルが必要である。 本研究では,映像データの空間的・時間的変動に依存する教師なしの手法を提案する。 本フレームワークは,(1) フレーム間の空間的・時間的整合性を利用して擬似ラベルを生成する光学フローモデル,(2) 擬似ラベルを漸進的に洗練する自己教師型モデル,(3) 分割ネットワークの3段階からなる。
• 参考スコア（独自算出の注目度）: 3.0516727053033392
• License:
• Abstract: Tracking fish movements and sizes of fish is crucial to understanding their ecology and behaviour. Knowing where fish migrate, how they interact with their environment, and how their size affects their behaviour can help ecologists develop more effective conservation and management strategies to protect fish populations and their habitats. Deep learning is a promising tool to analyze fish ecology from underwater videos. However, training deep neural networks (DNNs) for fish tracking and segmentation requires high-quality labels, which are expensive to obtain. We propose an alternative unsupervised approach that relies on spatial and temporal variations in video data to generate noisy pseudo-ground-truth labels. We train a multitask DNN using these pseudo-labels. Our framework consists of three stages: (1) an optical flow model generates the pseudo labels using spatial and temporal consistency between frames, (2) a self-supervised model refines the pseudo-labels incrementally, and (3) a segmentation network uses the refined labels for training. Consequently, we perform extensive experiments to validate our method on three public underwater video datasets and demonstrate its effectiveness for video annotation and segmentation. We also evaluate its robustness to different imaging conditions and discuss its limitations.
• Abstract（参考訳）: 魚の動きや魚の大きさを追跡することは、魚の生態や行動を理解するのに不可欠である。 魚がどこに移動するか、どのように環境と相互作用するか、そしてその大きさが彼らの行動にどのように影響するかを知ることで、生態学者は魚の個体群とその生息地を保護するためにより効果的な保護と管理戦略を開発するのに役立つ。 深層学習は、水中ビデオから魚の生態を分析するための有望なツールだ。 しかし、魚の追跡とセグメンテーションのために深層ニューラルネットワーク(DNN)を訓練するには、高品質なラベルが必要である。 そこで本稿では,映像データの空間的・時間的変動に頼って,ノイズの多い擬似地下構造ラベルを生成する手法を提案する。 これらの擬似ラベルを用いてマルチタスクDNNを訓練する。 本フレームワークは,(1) フレーム間の空間的・時間的整合性を利用して擬似ラベルを生成する光学フローモデル,(2) 擬似ラベルを漸進的に洗練する自己教師型モデル,(3) 分割ネットワークの3段階からなる。 その結果,提案手法を3つの水中ビデオデータセット上で検証し,ビデオアノテーションとセグメンテーションの有効性を実証した。 また、異なる撮像条件に対するロバスト性を評価し、その限界について議論する。

関連論文リスト

• TrajSSL: Trajectory-Enhanced Semi-Supervised 3D Object Detection [59.498894868956306]
  Pseudo-labeling approach to semi-supervised learning は教師-学生の枠組みを採用する。 我々は、事前学習した動き予測モデルを活用し、擬似ラベル付きデータに基づいて物体軌跡を生成する。 提案手法は2つの異なる方法で擬似ラベル品質を向上する。
  論文  参考訳（メタデータ） (2024-09-17T05:35:00Z)
• Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment [62.73503467108322]
  この話題は、3次元の点雲のセグメンテーションで広く研究されている。 近年まで、擬似ラベルは、限られた地道ラベルによる訓練を容易にするために広く用いられてきた。 既存の擬似ラベリングアプローチは、重複しないデータのノイズやバリエーションに悩まされる可能性がある。 本研究では,学習用擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭める学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:31:15Z)
• Label-Efficient 3D Brain Segmentation via Complementary 2D Diffusion Models with Orthogonal Views [10.944692719150071]
  相補的な2次元拡散モデルを用いた新しい3次元脳分割法を提案する。 私たちのゴールは、個々の主題に対して完全なラベルを必要とせずに、信頼性の高いセグメンテーション品質を達成することです。
  論文  参考訳（メタデータ） (2024-07-17T06:14:53Z)
• WildScenes: A Benchmark for 2D and 3D Semantic Segmentation in Large-scale Natural Environments [33.25040383298019]
  $WildScenes$は、高解像度の2Dイメージと高密度の3D LiDARポイントクラウドで構成されるバイモーダルベンチマークデータセットである。 データは軌道中心であり、正確なローカライゼーションとグローバルに整列した点雲がある。 我々の3Dセマンティックラベルは、人間の注釈付き2Dラベルを複数のビューから3Dポイントクラウドシーケンスに転送する効率的で自動化されたプロセスによって得られる。
  論文  参考訳（メタデータ） (2023-12-23T22:27:40Z)
• Beyond the Label Itself: Latent Labels Enhance Semi-supervised Point Cloud Panoptic Segmentation [46.01433705072047]
  表示ラベルの裏側には,LiDARと画像データに埋め込まれた2種類の潜伏ラベルが存在する。 我々は、より信頼性の高いトレーニング用サンプルを拡張できる新しい拡張 Cylinder-Mix を提案する。 また、インスタンスの位置と規模に関する情報を学習し、融合するためのインスタンス位置スケール学習(IPSL)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:56:24Z)
• Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior [100.98123802027847]
  点群における3次元シーンフロー推定とクラス非依存動作予測について検討した。 我々は,一方向の剛性動作推定により,自己教師型学習のための擬似シーンフローラベルを生成する。 本手法は,自己監督型シーンフロー学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-17T14:06:55Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Collaborative Propagation on Multiple Instance Graphs for 3D Instance Segmentation with Single-point Supervision [63.429704654271475]
  本稿では,1つのオブジェクトを1つのポイントでラベル付けするだけでよい,弱教師付き手法RWSegを提案する。 これらの疎いラベルにより、セマンティック情報とインスタンス情報を伝達する2つの分岐を持つ統一的なフレームワークを導入する。 具体的には、異なるインスタンスグラフ間の競合を促進するクロスグラフ競合ランダムウォークス(CRW)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-10T02:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。