論文の概要: Transformer-based Self-Supervised Fish Segmentation in Underwater Videos

• arxiv url: http://arxiv.org/abs/2206.05390v1
• Date: Sat, 11 Jun 2022 01:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:33:02.279189
• Title: Transformer-based Self-Supervised Fish Segmentation in Underwater Videos
• Title（参考訳）: 水中ビデオにおける変圧器型自己教師付き魚のセグメンテーション
• Authors: Alzayat Saleh, Marcus Sheaves, Dean Jerry, and Mostafa Rahimi Azghadi
• Abstract要約: 魚の高品質なセグメンテーションのための自己スーパービジョンを用いたトランスフォーマー方式を提案する。 1つのデータセットから水中ビデオのセットをトレーニングすると、提案モデルは従来のCNNベースおよびTransformerベースの自己教師方式を上回ることが示される。
• 参考スコア（独自算出の注目度）: 1.9249287163937976
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Underwater fish segmentation to estimate fish body measurements is still largely unsolved due to the complex underwater environment. Relying on fully-supervised segmentation models requires collecting per-pixel labels, which is time-consuming and prone to overfitting. Self-supervised learning methods can help avoid the requirement of large annotated training datasets, however, to be useful in real-world applications, they should achieve good segmentation quality. In this paper, we introduce a Transformer-based method that uses self-supervision for high-quality fish segmentation. Our proposed model is trained on videos -- without any annotations -- to perform fish segmentation in underwater videos taken in situ in the wild. We show that when trained on a set of underwater videos from one dataset, the proposed model surpasses previous CNN-based and Transformer-based self-supervised methods and achieves performance relatively close to supervised methods on two new unseen underwater video datasets. This demonstrates the great generalisability of our model and the fact that it does not need a pre-trained model. In addition, we show that, due to its dense representation learning, our model is compute-efficient. We provide quantitative and qualitative results that demonstrate our model's significant capabilities.
• Abstract（参考訳）: 魚体測定を推定する水中魚のセグメンテーションは、複雑な水中環境のため、いまだに未解決である。 完全な教師付きセグメンテーションモデルに依存するためには、ピクセル単位のラベルを収集する必要がある。 自己教師あり学習法は、大規模な注釈付きトレーニングデータセットの必要性を避けるのに役立つが、現実世界のアプリケーションで役立つためには、優れたセグメンテーション品質を達成する必要がある。 本稿では,魚の高品質セグメンテーションにセルフスーパービジョンを用いた変圧器方式を提案する。 提案したモデルは、野生で撮影された水中ビデオで魚のセグメンテーションを行うために、アノテーションなしで動画で訓練されている。 1つのデータセットから水中ビデオのセットをトレーニングすると、提案モデルは従来のCNNベースおよびTransformerベースの自己監督手法を超え、新しい2つの水中ビデオデータセットの教師あり手法に比較的近い性能を実現する。 これは、我々のモデルの大きな一般化可能性と、事前訓練されたモデルを必要としないという事実を示しています。 さらに,表現学習の高度化により,モデルが計算効率が高いことを示す。 モデルの重要な能力を示す量的および質的な結果を提供する。

関連論文リスト

• Diving into Underwater: Segment Anything Model Guided Underwater Salient Instance Segmentation and A Large-scale Dataset [60.14089302022989]
  水中視覚タスクは複雑な水中状況のため、しばしばセグメンテーションの精度が低い。 第1次大規模水中塩分分節データセット(USIS10K)を構築した。 本研究では,水中ドメインに特化してセグメンツ・ア・シング・モデル(USIS-SAM)に基づく水中塩分・インスタンス・アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:17:33Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• TempNet: Temporal Attention Towards the Detection of Animal Behaviour in Videos [63.85815474157357]
  本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。 TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。 本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
  論文  参考訳（メタデータ） (2022-11-17T23:55:12Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• iBoot: Image-bootstrapped Self-Supervised Video Representation Learning [45.845595749486215]
  ビデオデータセットは通常、画像データセットほど大きくない。 本稿では,映像表現学習フレームワークにおいて,自己や言語を事前訓練した強力な画像ベースモデルを提案する。 提案アルゴリズムはより少ないエポックと少ないバッチでより効率的に学習できることが示されている。
  論文  参考訳（メタデータ） (2022-06-16T17:42:48Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• A Realistic Fish-Habitat Dataset to Evaluate Algorithms for Underwater Visual Analysis [2.6476746128312194]
  我々は、DeepFishを大規模データセットでベンチマークスイートとして提示し、いくつかのコンピュータビジョンタスクのためのメソッドをトレーニングし、テストする。 このデータセットは、熱帯オーストラリアの海洋環境にある20の温帯生物から採取された約4万枚の画像で構成されている。 実験では,データセットの特徴を詳細に分析し,いくつかの最先端手法の性能評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T12:20:59Z)
• Deep Learning based Segmentation of Fish in Noisy Forward Looking MBES Images [1.5469452301122177]
  セマンティックセグメンテーションのためのディープラーニング(DL)と畳み込みニューラルネットワーク(CNN)の最近の進歩に基づいて構築する。 画像ソナーによって投影される全ての射程方位位置に対する魚・魚・魚の確率予測のためのエンドツーエンドのアプローチを実証する。 我々は,本モデルが所望のパフォーマンスを証明し,意味的文脈の重要性を活用することを学習したことを示す。
  論文  参考訳（メタデータ） (2020-06-16T09:57:38Z)
• Semantic Segmentation of Underwater Imagery: Dataset and Benchmark [13.456412091502527]
  水中イメージリー(SUIM)のセマンティック分析のための最初の大規模データセットを提示する。 魚(無脊椎動物)、サンゴ礁(無脊椎動物)、水生植物、難破船、人間ダイバー、ロボット、海底植物である。 また、標準的な性能指標に基づいて、最先端のセマンティックセマンティックセマンティクス手法のベンチマーク評価を行う。
  論文  参考訳（メタデータ） (2020-04-02T19:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。