論文の概要: Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach
- arxiv url: http://arxiv.org/abs/2206.05390v2
- Date: Wed, 26 Feb 2025 04:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 15:24:45.856855
- Title: Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach
- Title(参考訳): 水中魚のセグメンテーションにおけるアノテーションの克服:ロバストな自己監督学習アプローチ
- Authors: Alzayat Saleh, Marcus Sheaves, Dean Jerry, Mostafa Rahimi Azghadi,
- Abstract要約: 本稿では,Deep Learning を用いた魚のセグメンテーションのための自己教師型学習手法を提案する。
手動のアノテーションを使わずにトレーニングされた我々のモデルは、拡張ビューにまたがる特徴を整列することで、堅牢で一般化可能な表現を学習する。
DeepFish、Seagrass、YouTube-VOSの3つの挑戦的な水中ビデオデータセットでその効果を実証する。
- 参考スコア(独自算出の注目度): 3.0516727053033392
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate fish segmentation in underwater videos is challenging due to low visibility, variable lighting, and dynamic backgrounds, making fully-supervised methods that require manual annotation impractical for many applications. This paper introduces a novel self-supervised learning approach for fish segmentation using Deep Learning. Our model, trained without manual annotation, learns robust and generalizable representations by aligning features across augmented views and enforcing spatial-temporal consistency. We demonstrate its effectiveness on three challenging underwater video datasets: DeepFish, Seagrass, and YouTube-VOS, surpassing existing self-supervised methods and achieving segmentation accuracy comparable to fully-supervised methods without the need for costly annotations. Trained on DeepFish, our model exhibits strong generalization, achieving high segmentation accuracy on the unseen Seagrass and YouTube-VOS datasets. Furthermore, our model is computationally efficient due to its parallel processing and efficient anchor sampling technique, making it suitable for real-time applications and potential deployment on edge devices. We present quantitative results using Jaccard Index and Dice coefficient, as well as qualitative comparisons, showcasing the accuracy, robustness, and efficiency of our approach for advancing underwater video analysis
- Abstract(参考訳): 水中ビデオにおける正確な魚のセグメンテーションは、視界の低さ、照度の変化、動的背景のために困難であり、多くのアプリケーションで手動のアノテーションを非現実的に要求する完全に教師付き手法を作成する。
本稿では,Deep Learning を用いた魚のセグメンテーションのための自己教師型学習手法を提案する。
手動のアノテーションを使わずに訓練された我々のモデルは、拡張されたビューをまたいで特徴を調整し、空間的時間的一貫性を強制することによって、堅牢で一般化可能な表現を学習する。
我々は、DeepFish、Seagrass、YouTube-VOSの3つの挑戦的な水中ビデオデータセットに対して、既存のセルフ教師付き手法を超越し、コストのかかるアノテーションを必要とせずに、完全に教師付き手法に匹敵するセグメンテーション精度を達成する効果を実証した。
DeepFishでトレーニングされたこのモデルは,目に見えないSeagrassとYouTube-VOSデータセットに対して高いセグメンテーション精度を実現するために,強力な一般化を示す。
さらに、並列処理と効率的なアンカーサンプリング技術により、計算効率が良く、リアルタイムアプリケーションやエッジデバイスへの潜在的デプロイに適している。
Jaccard Index と Dice coefficient を用いた定量結果と質的比較を行い, 水中ビデオ解析の精度, 堅牢性, 効率について検討した。
関連論文リスト
- Closer to Ground Truth: Realistic Shape and Appearance Labeled Data Generation for Unsupervised Underwater Image Segmentation [8.511846002129522]
人間のアノテーションを必要としない2段階の非教師付きセグメンテーション手法を導入し、人工的に作成された実画像と実画像を組み合わせる。
本手法は,仮想魚を現実世界の水中環境に配置することにより,難易度の高い合成訓練データを生成する。
水中ビデオにおけるサーモンセグメンテーションの特定の事例にその効果を示し,本研究で最大のデータセットであるDeepSalmon(30GB)を紹介した。
論文 参考訳(メタデータ) (2025-03-20T11:34:45Z) - FAFA: Frequency-Aware Flow-Aided Self-Supervision for Underwater Object Pose Estimation [65.01601309903971]
無人水中車両(UUV)の6次元ポーズ推定のための周波数認識フロー支援フレームワークであるFAFAを紹介する。
我々のフレームワークは、3DモデルとRGB画像のみに依存しており、実際のポーズアノテーションや奥行きのような非モダリティデータの必要性を軽減しています。
本研究では,一般的な水中オブジェクトポーズベンチマークにおけるFAFAの有効性を評価し,最先端手法と比較して顕著な性能向上を示した。
論文 参考訳(メタデータ) (2024-09-25T03:54:01Z) - Diving into Underwater: Segment Anything Model Guided Underwater Salient Instance Segmentation and A Large-scale Dataset [60.14089302022989]
水中視覚タスクは複雑な水中状況のため、しばしばセグメンテーションの精度が低い。
第1次大規模水中塩分分節データセット(USIS10K)を構築した。
本研究では,水中ドメインに特化してセグメンツ・ア・シング・モデル(USIS-SAM)に基づく水中塩分・インスタンス・アーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-06-10T06:17:33Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳(メタデータ) (2023-12-18T18:59:51Z) - Interpretable Underwater Diver Gesture Recognition [0.0]
深層学習を用いた認知自律的な潜水行動データセットに基づいて学習した水中ジェスチャー認識システムを提案する。
また、XAI技術を用いてモデルの予測を可視化することにより、ジェスチャー認識システム解釈性を向上させる。
論文 参考訳(メタデータ) (2023-12-08T07:14:52Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - DeepAqua: Self-Supervised Semantic Segmentation of Wetland Surface Water
Extent with SAR Images using Knowledge Distillation [44.99833362998488]
トレーニングフェーズ中に手動アノテーションを不要にする自己教師型ディープラーニングモデルであるDeepAquaを提案する。
我々は、光とレーダーをベースとしたウォーターマスクが一致する場合を利用して、水面と植物の両方を検知する。
実験の結果,DeepAquaの精度は7%向上し,Intersection Over Unionが27%,F1が14%向上した。
論文 参考訳(メタデータ) (2023-05-02T18:06:21Z) - TempNet: Temporal Attention Towards the Detection of Animal Behaviour in
Videos [63.85815474157357]
本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。
TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。
本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
論文 参考訳(メタデータ) (2022-11-17T23:55:12Z) - How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach [3.0516727053033392]
魚の追跡とセグメンテーションのためのディープニューラルネットワーク(DNN)のトレーニングには、高品質なラベルが必要である。
本研究では,映像データの空間的・時間的変動に依存する教師なしの手法を提案する。
本フレームワークは,(1) フレーム間の空間的・時間的整合性を利用して擬似ラベルを生成する光学フローモデル,(2) 擬似ラベルを漸進的に洗練する自己教師型モデル,(3) 分割ネットワークの3段階からなる。
論文 参考訳(メタデータ) (2022-08-23T01:01:27Z) - Revisiting Classifier: Transferring Vision-Language Models for Video
Recognition [102.93524173258487]
ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。
本研究では,映像分類作業における知識の伝達に着目した。
予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
論文 参考訳(メタデータ) (2022-07-04T10:00:47Z) - iBoot: Image-bootstrapped Self-Supervised Video Representation Learning [45.845595749486215]
ビデオデータセットは通常、画像データセットほど大きくない。
本稿では,映像表現学習フレームワークにおいて,自己や言語を事前訓練した強力な画像ベースモデルを提案する。
提案アルゴリズムはより少ないエポックと少ないバッチでより効率的に学習できることが示されている。
論文 参考訳(メタデータ) (2022-06-16T17:42:48Z) - TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。
我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。
実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
論文 参考訳(メタデータ) (2021-10-27T21:05:00Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T02:27:55Z) - ViViT: A Video Vision Transformer [75.74690759089529]
ビデオ分類にpure-transformerベースのモデルを提案する。
本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。
トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
論文 参考訳(メタデータ) (2021-03-29T15:27:17Z) - A Realistic Fish-Habitat Dataset to Evaluate Algorithms for Underwater
Visual Analysis [2.6476746128312194]
我々は、DeepFishを大規模データセットでベンチマークスイートとして提示し、いくつかのコンピュータビジョンタスクのためのメソッドをトレーニングし、テストする。
このデータセットは、熱帯オーストラリアの海洋環境にある20の温帯生物から採取された約4万枚の画像で構成されている。
実験では,データセットの特徴を詳細に分析し,いくつかの最先端手法の性能評価を行った。
論文 参考訳(メタデータ) (2020-08-28T12:20:59Z) - Self-supervised Video Object Segmentation [76.83567326586162]
本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。
i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
論文 参考訳(メタデータ) (2020-06-22T17:55:59Z) - Deep Learning based Segmentation of Fish in Noisy Forward Looking MBES
Images [1.5469452301122177]
セマンティックセグメンテーションのためのディープラーニング(DL)と畳み込みニューラルネットワーク(CNN)の最近の進歩に基づいて構築する。
画像ソナーによって投影される全ての射程方位位置に対する魚・魚・魚の確率予測のためのエンドツーエンドのアプローチを実証する。
我々は,本モデルが所望のパフォーマンスを証明し,意味的文脈の重要性を活用することを学習したことを示す。
論文 参考訳(メタデータ) (2020-06-16T09:57:38Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳(メタデータ) (2020-06-04T08:59:17Z) - Semantic Segmentation of Underwater Imagery: Dataset and Benchmark [13.456412091502527]
水中イメージリー(SUIM)のセマンティック分析のための最初の大規模データセットを提示する。
魚(無脊椎動物)、サンゴ礁(無脊椎動物)、水生植物、難破船、人間ダイバー、ロボット、海底植物である。
また、標準的な性能指標に基づいて、最先端のセマンティックセマンティックセマンティクス手法のベンチマーク評価を行う。
論文 参考訳(メタデータ) (2020-04-02T19:53:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。