論文の概要: Diving into Underwater: Segment Anything Model Guided Underwater Salient Instance Segmentation and A Large-scale Dataset

• arxiv url: http://arxiv.org/abs/2406.06039v1
• Date: Mon, 10 Jun 2024 06:17:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:56:30.966547
• Title: Diving into Underwater: Segment Anything Model Guided Underwater Salient Instance Segmentation and A Large-scale Dataset
• Title（参考訳）: 水中への潜水:海水塩分セグメンテーションと大規模データセットをガイドしたセグメンテーションモデル
• Authors: Shijie Lian, Ziyi Zhang, Hua Li, Wenjie Li, Laurence Tianruo Yang, Sam Kwong, Runmin Cong,
• Abstract要約: 水中視覚タスクは複雑な水中状況のため、しばしばセグメンテーションの精度が低い。 第1次大規模水中塩分分節データセット(USIS10K)を構築した。 本研究では,水中ドメインに特化してセグメンツ・ア・シング・モデル(USIS-SAM)に基づく水中塩分・インスタンス・アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 60.14089302022989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the breakthrough of large models, Segment Anything Model (SAM) and its extensions have been attempted to apply in diverse tasks of computer vision. Underwater salient instance segmentation is a foundational and vital step for various underwater vision tasks, which often suffer from low segmentation accuracy due to the complex underwater circumstances and the adaptive ability of models. Moreover, the lack of large-scale datasets with pixel-level salient instance annotations has impeded the development of machine learning techniques in this field. To address these issues, we construct the first large-scale underwater salient instance segmentation dataset (USIS10K), which contains 10,632 underwater images with pixel-level annotations in 7 categories from various underwater scenes. Then, we propose an Underwater Salient Instance Segmentation architecture based on Segment Anything Model (USIS-SAM) specifically for the underwater domain. We devise an Underwater Adaptive Visual Transformer (UA-ViT) encoder to incorporate underwater domain visual prompts into the segmentation network. We further design an out-of-the-box underwater Salient Feature Prompter Generator (SFPG) to automatically generate salient prompters instead of explicitly providing foreground points or boxes as prompts in SAM. Comprehensive experimental results show that our USIS-SAM method can achieve superior performance on USIS10K datasets compared to the state-of-the-art methods. Datasets and codes are released on https://github.com/LiamLian0727/USIS10K.
• Abstract（参考訳）: 大規模モデルのブレークスルーにより、Segment Anything Model (SAM)とその拡張はコンピュータビジョンの様々なタスクに適用しようと試みられている。 水中の健全なインスタンスセグメンテーションは、複雑な水中状況とモデルの適応能力のために、しばしばセグメンテーションの精度が低い水中視覚タスクの基礎的かつ重要なステップである。 さらに,画素レベルの有能なインスタンスアノテーションを備えた大規模データセットの欠如は,この分野での機械学習技術の発達を阻害している。 これらの課題に対処するため, 様々な水中シーンから, 画素レベルのアノテーションを持つ10,632個の水中画像を含む, 初の大規模水中塩水インスタンスセグメンテーションデータセット (USIS10K) を構築した。 そこで本研究では,水中ドメインに特有なセグメンテーションモデル(USIS-SAM)に基づく水中塩分インスタンスセグメンテーションアーキテクチャを提案する。 我々は,水中領域の視覚的プロンプトをセグメントネットワークに組み込むために,水中適応型視覚変換器(UA-ViT)エンコーダを考案した。 さらに,前景点や箱をSAMのプロンプトとして明示的に提供するのではなく,自動でサリアントプロンプタを生成するために,水中のサリアント・フィーチャー・プロンプタ・ジェネレータ(SFPG)を設計する。 総合的な実験結果から,USIS-SAM法は最先端の手法と比較して,USIS10Kデータセット上で優れた性能が得られることが示された。 データセットとコードはhttps://github.com/LiamLian0727/USIS10Kで公開されている。

関連論文リスト

• UW-SDF: Exploiting Hybrid Geometric Priors for Neural SDF Reconstruction from Underwater Multi-view Monocular Images [63.32490897641344]
  ニューラルSDFに基づく多視点水中画像から対象物を再構成するフレームワークを提案する。 再建過程を最適化するためのハイブリッドな幾何学的先行手法を導入し、神経SDF再建の質と効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-10T16:33:56Z)
• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• Evaluation of Segment Anything Model 2: The Role of SAM2 in the Underwater Environment [2.0554501265326794]
  Segment Anything Model(SAM)とその拡張は、海洋科学における様々な水中可視化タスクに応用するために試みられている。 近年,Segment Anything Model 2 (SAM2) が開発され,実行速度とセグメンテーション精度が大幅に向上した。 本報告は, 海洋科学におけるSAM2の可能性について, UIIS と USIS10K をベンチマークした水中インスタンスセグメンテーションデータセットを用いて検討することを目的とする。
  論文  参考訳（メタデータ） (2024-08-06T03:20:10Z)
• MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
  そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。 本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
  論文  参考訳（メタデータ） (2024-04-24T07:38:14Z)
• Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM [62.85895749882285]
  海洋動物(英: Marine Animal、MAS)は、海洋環境に生息する動物を分類する動物である。 高性能MASのための新しい特徴学習フレームワークDual-SAMを提案する。 提案手法は,広く使用されている5つのMASデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-07T15:34:40Z)
• Deep Instruction Tuning for Segment Anything Model [68.7934961590075]
  Segment Anything Model (SAM) はマルチメディアとコンピュータビジョンの分野で研究ホットスポットとなっている。 SAMは、異なるタイプのセグメンテーションプロンプトをサポートすることができるが、テキストで指示されたタスクでは、はるかに悪化する。 SAMのための2つの簡易かつ効果的なディープ・インストラクション・チューニング(DIT)手法を提案し,その1つはエンドツーエンドであり、もう1つはレイヤワイズである。
  論文  参考訳（メタデータ） (2024-03-31T11:37:43Z)
• AquaSAM: Underwater Image Foreground Segmentation [1.7482936568887284]
  この研究は、水中画像上でSAMの成功を拡大する最初の試みであるAquaSAMを提示する。 我々は、SAMを一般的な前景水中画像セグメンテーションに適応させる簡単な微調整法を開発した。 我々はAquaSAMがサンゴ礁のようなハードタスクにおいてデフォルトのSAMモデルより優れていることを実証する。
  論文  参考訳（メタデータ） (2023-08-08T12:30:36Z)
• Transformer-based Self-Supervised Fish Segmentation in Underwater Videos [1.9249287163937976]
  魚の高品質なセグメンテーションのための自己スーパービジョンを用いたトランスフォーマー方式を提案する。 1つのデータセットから水中ビデオのセットをトレーニングすると、提案モデルは従来のCNNベースおよびTransformerベースの自己教師方式を上回ることが示される。
  論文  参考訳（メタデータ） (2022-06-11T01:20:48Z)
• An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset [41.842352295729555]
  実シーンの最初の水中セマンティックセマンティックセグメンテーションデータセット(DUT-USEG:DUT水中データセット)をラベル付けし、確立する。 境界に着目した半教師付き水中セマンティックセグメンテーションネットワーク(US-Net:水中ネットワーク)を提案する。 実験の結果,DUT-USEGデータセットのホロトゥリアン,キチナス,ヒトデ,および最先端の3つのカテゴリーにおいて,提案手法が6.7%向上することが確認された。
  論文  参考訳（メタデータ） (2021-08-26T12:05:08Z)
• SVAM: Saliency-guided Visual Attention Modeling by Autonomous Underwater Robots [16.242924916178282]
  本稿では,自律型水中ロボットの視覚的注意モデル(SVAM)に対する総合的なアプローチを提案する。 提案するSVAM-Netは,様々なスケールの深部視覚的特徴を統合し,自然水中画像に有効なSOD(Salient Object Detection)を実現する。
  論文  参考訳（メタデータ） (2020-11-12T08:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。